Proprietà stimatori ML
Ciao a tutti,
Sapendo che x è distribuita come un'esponenziale di parametro $lambda$ voglio stimare il parametro $lambda$ per i valori $x_1...x_n$ rilevati in uno studio.
Ho stimato con il metodo ML che $lambda = n/(sum(x_i))$
E ho calcolato che il limite di Cramer Rao è : $(lambda)^2 /n$
Per verificare se lo stimatore è polarizzato ho calcolato:
$E[n/(sum(x_i))] = n/(n/lambda)= lambda$
quindi deduco che è polarizzato perché $lambda$ è diverso da $1/lambda$.
Poi ho calcolato la Varianza come:
$Var[n/(sum(x_i))]=n^2 * 1/(n/(lambda)^2)=n lambda^2$
$Var[T_(ML)]>(lambda)^2 /n $ quindi lo stimatore è a minima varianza.
E' possibile che uno stimatore polarizzato sia a minima varianza? Potreste aiutarmi a capire se nei passaggi precedenti ho fatto errori dal punto di vista matematico?
Grazie in anticipo.
Sapendo che x è distribuita come un'esponenziale di parametro $lambda$ voglio stimare il parametro $lambda$ per i valori $x_1...x_n$ rilevati in uno studio.
Ho stimato con il metodo ML che $lambda = n/(sum(x_i))$
E ho calcolato che il limite di Cramer Rao è : $(lambda)^2 /n$
Per verificare se lo stimatore è polarizzato ho calcolato:
$E[n/(sum(x_i))] = n/(n/lambda)= lambda$
quindi deduco che è polarizzato perché $lambda$ è diverso da $1/lambda$.
Poi ho calcolato la Varianza come:
$Var[n/(sum(x_i))]=n^2 * 1/(n/(lambda)^2)=n lambda^2$
$Var[T_(ML)]>(lambda)^2 /n $ quindi lo stimatore è a minima varianza.
E' possibile che uno stimatore polarizzato sia a minima varianza? Potreste aiutarmi a capire se nei passaggi precedenti ho fatto errori dal punto di vista matematico?
Grazie in anticipo.
Risposte
c'è parecchia confusione in ciò che hai scritto e anche diversi errori di Statistica.
Punto 1) il limite inferiore della varianza che hai calcolato $V(T)>=lambda^2/n$ è il limite per stimatori NON DISTORTI ( o non polarizzati, come li chiami tu...) per $lambda$
Punto 2) lo stimatore di massima verosimiglianza di $lambda$ che hai calcolato
$hat(lambda)=n/(Sigmax)$ è davvero distorto (anche se corretto asintoticamente, come tutti gli stimatori ML) ma non per i calcoli che hai fatto tu (e che onestamente non ho capito)
Vediamo come calcolare la media dello stimatore
$T=n/(Sigmax)=n/Y$
dove $Y~Gamma(n, lambda)$
quindi
$E[T]=nE[1/Y]=n int_(0)^(oo)1/y lambda^n/(Gamma(n)) y^(n-1)e^(-lambday)dy=$
$=n/(n-1)lambda int_(0)^(oo) lambda^(n-1)/(Gamma(n-1)) y^[(n-1)-1]e^(-lambday)dy=n/(n-1)lambda $
così è giusto: in questo caso lo stimatore ML di $lambda$ è distorto perché la sua media è diversa da $lambda$. D'altro canto si vede bene che è asintoticamente corretto dato che $lim_(n->+oo)E[T]=lambda$
Ora si può calcolare lo stimatore non distorto per $lambda $ ovvero $hat (lambda)=(n-1)/(Sigma x)=T^* $ e quindi calcolarne la varianza.
$V [(n-1)/(Sigma x)]=lambda ^2/(n-2) $
Questa sì che la puoi confrontare con il limite inferiore che hai trovato verificando che $V (T^*)>lambda ^2/n $ e quindi la varianza dello stimatore NON raggiunge il limite minimo ma è l'UMVUE di lambda essendo non distorto e funzione di una statistica sufficiente e completa $S=Sigma x $ (Lehmann Scheffé)
Punto 1) il limite inferiore della varianza che hai calcolato $V(T)>=lambda^2/n$ è il limite per stimatori NON DISTORTI ( o non polarizzati, come li chiami tu...) per $lambda$
Punto 2) lo stimatore di massima verosimiglianza di $lambda$ che hai calcolato
$hat(lambda)=n/(Sigmax)$ è davvero distorto (anche se corretto asintoticamente, come tutti gli stimatori ML) ma non per i calcoli che hai fatto tu (e che onestamente non ho capito)
Vediamo come calcolare la media dello stimatore
$T=n/(Sigmax)=n/Y$
dove $Y~Gamma(n, lambda)$
quindi
$E[T]=nE[1/Y]=n int_(0)^(oo)1/y lambda^n/(Gamma(n)) y^(n-1)e^(-lambday)dy=$
$=n/(n-1)lambda int_(0)^(oo) lambda^(n-1)/(Gamma(n-1)) y^[(n-1)-1]e^(-lambday)dy=n/(n-1)lambda $
così è giusto: in questo caso lo stimatore ML di $lambda$ è distorto perché la sua media è diversa da $lambda$. D'altro canto si vede bene che è asintoticamente corretto dato che $lim_(n->+oo)E[T]=lambda$
Ora si può calcolare lo stimatore non distorto per $lambda $ ovvero $hat (lambda)=(n-1)/(Sigma x)=T^* $ e quindi calcolarne la varianza.
$V [(n-1)/(Sigma x)]=lambda ^2/(n-2) $
Questa sì che la puoi confrontare con il limite inferiore che hai trovato verificando che $V (T^*)>lambda ^2/n $ e quindi la varianza dello stimatore NON raggiunge il limite minimo ma è l'UMVUE di lambda essendo non distorto e funzione di una statistica sufficiente e completa $S=Sigma x $ (Lehmann Scheffé)
Ho capito cosa ho sbagliato, quindi ricapitolando:
- Lo stimatore che ho trovato è distorto perché la sua media è diversa dal parametro $lambda$ che voglio stimare
- Poiché questo stimatore è distorto sicuramente non è a minima varianza perché non può raggiungere il limite di CR
giusto?
e poi volevo chiederti una cosa, in generale se devo fare il valore atteso del reciproco di una variabile di cui conosco la distribuzione es. $E[1/Y]$ con $Y~Gamma(n, lambda)$ senza fare il calcolo esplicito con l'integrale come hai fatto tu (che ho capito), ricordando che $E[Y]=n/lambda$ non esiste qualche proprietà particolare del valore atteso che mi permette subito di dire quanto vale questa quantità vero? Io credo di no poiché la media è un operatore lineare...però volevo conferma
- Lo stimatore che ho trovato è distorto perché la sua media è diversa dal parametro $lambda$ che voglio stimare
- Poiché questo stimatore è distorto sicuramente non è a minima varianza perché non può raggiungere il limite di CR
giusto?
e poi volevo chiederti una cosa, in generale se devo fare il valore atteso del reciproco di una variabile di cui conosco la distribuzione es. $E[1/Y]$ con $Y~Gamma(n, lambda)$ senza fare il calcolo esplicito con l'integrale come hai fatto tu (che ho capito), ricordando che $E[Y]=n/lambda$ non esiste qualche proprietà particolare del valore atteso che mi permette subito di dire quanto vale questa quantità vero? Io credo di no poiché la media è un operatore lineare...però volevo conferma
dunque, in generale per calcolare $E[1/Y]$ ci sono due strade:
1) nota la distribuzione di $Y$, come ti ho fatto vedere, in base alla definizione di media per cui
2) Nota la distribuzione di $Z= 1/Y$
in questo caso specifico, effettivamente, si poteva anche risolvere diversamente, ma perché in questo caso si conosce non solo la distribuzione di $Y$ ma anche la distribuzione di $1/Y$ che è una Gamma inversa, appunto di media $lambda/(n-1)$
Per quanto riguarda invece l'altra domanda, il problema è un po' più complesso:
Se lo stimatore che trovi è distorto non ti interessa più calcolare il limite inferiore della sua varianza perché tanto non è confrontabile con il limite che hai calcolato tu. Quello è il limite inferiore ristretto alla classe degli stimatori non distorti. Tra l'altro, anche fra gli stimatori non distorti pochissimi raggiungono il limite inferiore, nemmeno molti UMVUE. Ciò in quanto si dimostra che, se una distribuzione appartiene alla famiglia esponenziale, allora esiste sempre uno stimatore che raggiunge il limite inferiore di Cramér Rao ma, per l'appunto, solo uno. Gli altri UMVUE no.
Ad esempio lo stimatore trovato non distorto per $lambda$, come ti ho mostrato, è UMVUE ma ha un limite inferiore di varianza che non arriva a quello di Cramér Rao.
Se invece prendiamo ad esempio lo stimatore di $1/lambda$ della stessa distribuzione allora le cose cambiano:
Lo stimatore ML, per la proprietà di invarianza è $T=bar(X)$ che è non distorto di media
$E[T]=mu=1/lambda$
e varianza
$V[T]=sigma^2/n= 1/(n lambda^2)$
Ora puoi controllare che tale varianza coincide con i limite inferiore di Cramér Rao, essendo
$V(T)>=[g'(lambda)]^2/(-nE{partial^2/(partial lambda^2)log f(x,lambda)})=1/(nlambda^2)$
[ot]sono andato un po' "a braccio" nelle spiegazioni, dato che non sono a casa e sono senza libri....ma i concetti che ti ho illustrato sono sicuramente corretti, da approfondire sul testo....[/ot]
1) nota la distribuzione di $Y$, come ti ho fatto vedere, in base alla definizione di media per cui
$E[g(X)]=int g(X)f_X(x)dx$
2) Nota la distribuzione di $Z= 1/Y$
$E[Z]=int zf_Z(z)dz$
in questo caso specifico, effettivamente, si poteva anche risolvere diversamente, ma perché in questo caso si conosce non solo la distribuzione di $Y$ ma anche la distribuzione di $1/Y$ che è una Gamma inversa, appunto di media $lambda/(n-1)$
Per quanto riguarda invece l'altra domanda, il problema è un po' più complesso:
Se lo stimatore che trovi è distorto non ti interessa più calcolare il limite inferiore della sua varianza perché tanto non è confrontabile con il limite che hai calcolato tu. Quello è il limite inferiore ristretto alla classe degli stimatori non distorti. Tra l'altro, anche fra gli stimatori non distorti pochissimi raggiungono il limite inferiore, nemmeno molti UMVUE. Ciò in quanto si dimostra che, se una distribuzione appartiene alla famiglia esponenziale, allora esiste sempre uno stimatore che raggiunge il limite inferiore di Cramér Rao ma, per l'appunto, solo uno. Gli altri UMVUE no.
Ad esempio lo stimatore trovato non distorto per $lambda$, come ti ho mostrato, è UMVUE ma ha un limite inferiore di varianza che non arriva a quello di Cramér Rao.
Se invece prendiamo ad esempio lo stimatore di $1/lambda$ della stessa distribuzione allora le cose cambiano:
Lo stimatore ML, per la proprietà di invarianza è $T=bar(X)$ che è non distorto di media
$E[T]=mu=1/lambda$
e varianza
$V[T]=sigma^2/n= 1/(n lambda^2)$
Ora puoi controllare che tale varianza coincide con i limite inferiore di Cramér Rao, essendo
$V(T)>=[g'(lambda)]^2/(-nE{partial^2/(partial lambda^2)log f(x,lambda)})=1/(nlambda^2)$
[ot]sono andato un po' "a braccio" nelle spiegazioni, dato che non sono a casa e sono senza libri....ma i concetti che ti ho illustrato sono sicuramente corretti, da approfondire sul testo....[/ot]
"tommik":
$V [(n-1)/(Sigma x)]=lambda ^2/(n-2) $
Questa sì che la puoi confrontare con il limite inferiore che hai trovato verificando che $V (T^*)>lambda ^2/n $ e quindi la varianza dello stimatore NON raggiunge il limite minimo
Perfetto ho capito il tuo ragionamento, l'unica cosa che non mi è ancora chiara è perché in questo caso dici che la varianza NON raggiunge il limite minimo, per raggiungere il limite minimo deve valere $V (T^*)>=lim_(CR) $ quindi $lambda ^2/(n-2) >lambda ^2/n $ che è verificata
$V (T)>=$ limite inferiore di CR vale sempre, appunto per il teorema in oggetto... sempre che siano verificate determinante condizioni di regolarità, principalmente relative alla derivazione sotto il segno di integrale.
Per raggiungere il limite minimo deve essere $V (T) =$ al membro di destra della CR, così come ti ho mostrato che accade con lo stimatore di $mu=1/lambda $
Ciò accade sempre per gli stimatori ML asintoticamente, dato che $hat (theta)~N (theta, k (theta)) $
Dove $k (theta) $ è il membro di destra della CR
Per raggiungere il limite minimo deve essere $V (T) =$ al membro di destra della CR, così come ti ho mostrato che accade con lo stimatore di $mu=1/lambda $
Ciò accade sempre per gli stimatori ML asintoticamente, dato che $hat (theta)~N (theta, k (theta)) $
Dove $k (theta) $ è il membro di destra della CR
Tutto chiaro! Grazie mille 
Scrivo qui perché è ancora inerente al discorso:
Sto provando a calcolare $E[1/(sum(x_i))]$ sfruttando le varie proprietà delle distribuzioni
Questa volta però so che le $x_i$ sono distribuite come una $Gamma(r_i,lambda)$
Quindi la loro somma è distribuita come una $Gamma(r_1 +..+r_n,lambda)$
E' corretto dire allora che $1/(sum(x_i))$ è una Gamma inversa di parametri $(r,lambda)$ ?
Cioè è esattamente come nel caso dell'esponenziale?
Sto provando a calcolare $E[1/(sum(x_i))]$ sfruttando le varie proprietà delle distribuzioni
Questa volta però so che le $x_i$ sono distribuite come una $Gamma(r_i,lambda)$
Quindi la loro somma è distribuita come una $Gamma(r_1 +..+r_n,lambda)$
E' corretto dire allora che $1/(sum(x_i))$ è una Gamma inversa di parametri $(r,lambda)$ ?
Cioè è esattamente come nel caso dell'esponenziale?
Esattamente come il caso precedente...
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo