Varianza stimatore ML

[markowitz]

Relativamente ad un'esponenziale di parametro $1/lambda$ lo stimatore ML (campionamento iid)
vale:

$lambda_(ML)=(sum x_i)/N$
ovvero la media campionaria, il cui valore atteso $E(lambda_(ML))$ si dimostra facilmente essere $lambda$
peraltro si vede anche facilmente che
$Var(lambda_(ML))=lambda^2/N$

tuttavia il mio dubbio è:
non dovrebbe anche valere
$Var(lambda_(ML))=E(lambda_(ML)^2)-E(lambda_(ML))^2$ eppure a me viene uguale a $(N-2)*lambda/N$
non mi sembra di aver sbagliato i conti quindi
perché???????

[DajeForte]

Come hai calcolato questi?

"markowitz":$Var(lambda_(ML))=E(lambda_(ML)^2)-E(lambda_(ML))^2$ eppure a me viene uguale a $(N-2)*lambda/N$
non mi sembra di aver sbagliato i conti quindi
perché???????

[markowitz]

Così:

$E[lambda_(ML)^2]=E[((sum x_i)/N)^2]=E[(sum x_i^2)/N^2]=(1/N^2)sum E(x_i^2)=(1/N^2)*sum (2*lambda^2)=(N*2*lambda^2)/N^2=2*lambda^2/N$

se c'è un errore dovrebbe essere qui.

[DajeForte]

Non mi ricordo tutti i momenti della esponenziale quindi riguarda se anche quelli siano giusti.

Comunque nella seconda uguaglianza ci sono anche i doppi prodotti. $(x+y)^2 != x^2+y^2$

[markowitz]

(Lascia un'attimo perdere il risultato finale del primo post perché non ricordo più da dove l'ho tirato fuori)

comunque nel secondo passaggio i doppi prodotti l'ho tolti perché le variabili sono indipendenti.

per i momenti se $X$ è $exp(1/lambda)$ allora
$E[X]=lambda$
$E[X^2]=2*lambda^2$
$V[X]=lambda^2$

[DajeForte]

"markowitz":comunque nel secondo passaggio i doppi prodotti l'ho tolti perché le variabili sono indipendenti.

Appunto è sbagliato. Non fa zero! E non te lo dico perchè ci devi arrivare da solo!

[markowitz]

Ho fatto confusione. Come non detto, ora le cose iniziano a quadrare se ho altri problemi mi faccio vivo.

[markowitz]

Ok i conti tornano $V[lambda_(ML)]=lambda^2/N$

ma adesso vorrei andare avanti e controllare se questa coincide col limite inferiore di Craner Rao ed ho nuovamente problemi.

la condizione del prim'ordine è questa:
$(dlogL(lambda))/(d lambda)=N*lambda-sum x_i=0$

adesso
$E[(N*lambda-sum x_i)^2]^-1$
dovrebbe essere il limite cercato ma a me risulta $1/(N*lambda^2)
che non mi convince molto.

Ci sono errori?

[DajeForte]

Ti conviene calcolare la derivata seconda e farne la media e poi prendere meno il risultato

http://en.wikipedia.org/wiki/Cram%C3%A9 ... 3Rao_bound

[DajeForte]

"markowitz":
$(dlogL(lambda))/(d lambda)=N*lambda-sum x_i=0$

il tuo errore è qua; quella non è la derivata prima ma un'equazione equivalente che ottieni giocando con la derivata.

Cioè se hai $f^{\prime}=g=0$ quindi g è la derivata di f e la imponi uguale a zero, una volta che inizi a giocare (trasformare) l'equazione g=0 poi non è più vero
che quello è uguale alla derivata. Immagina che aggiungi uno g+1=1 ma g+1 non è uguale a $f^{\prime}$.

la derivata è $-N/l\ +\ 1/(l^2)\ S$ dove S è la somma delle x.

[markowitz]

Ok grazie per le spiegazioni ora torna tutto.

Tuttavia impostando il problema in modo diverso e cioè parametrizzando l'esponenziale in forma canonica
$f(x)=lambda e^(-lambda*x)$

mi riconduco alla forma $N/(sum x_i)$

ma ho paura che trovare il valore atteso non sia banale perché non posso bellamente spezzare l'operatore, o si?

se NO come s'imposta il calcolo???

altra domanda:
in generale una forma del tipo
$f(x_i)/(sum x_i)$
nel calcolo del valore atteso, almeno sotto indipendenza, la posso spezzare???

[DajeForte]

Cosa intendi per "spezzare l'operatore"?

Se in tendi questo $E[N/S]\ =\ N\ *\ (E[1/S])$ si (S è la somma) ma $E[1/S]=1/(E)$ no. Non puoi portare giu la media.

La strada per calcolarla è considerare che S si distribuisxce come una gamma e quindi poi in base a quello fare $int 1/x f_(Gamma)(x) dx$

c'era un thr. circa un anno fa (proprio a giugno sul quale ero intervenuto) fai una ricerca. Non ricordo il nome quarda tra i miei messaggi verso 20/25 giugno.

Per l'altra domanda dipende come è la funzione f comunque come ti ho detto in generale (quasi sempre; sono rarissimo i casi in cui è vero)

$E[f/g]=(E[f])/(E[g])$ dove f e g sono variabili o funzione di un campione vedile come vuoi, anche sotto indipendenza.


P.S. ma lo hai risolto l'altro problema, se no fammelo sapere vediamo che si può fare.

Contro P.S. Sulla legge dei grandi numeri e sulla legge empirica del caso bisogna vedere che definizioni si danno.
La legge empirica del caso (per come io la so - non gli do particolare importanza) dice se ripeti un esperimento sempre nelle stesse condizioni la media converge ad un valore. Diciamo che è così o qualcosa del genere legata anche alla probabilità frequentista.

Al contrario prendi la probabilità come una misura finita che ha tutta una teoria matematica dietro. La L dei GN è un teorema e grazie a questa teoria ne ha dimostrazione. D'altronde, così per ridere, se ci hanno scritto libri e articoli matematici del calibro di Kolmogorov Feller e tantissimi altri...

[markowitz]

"DajeForte":

Per l'altra domanda dipende come è la funzione f comunque come ti ho detto in generale (quasi sempre; sono rarissimo i casi in cui è vero)

$E[f/g]=(E[f])/(E[g])$ dove f e g sono variabili o funzione di un campione vedile come vuoi, anche sotto indipendenza.

questa relazione non vale SOLO sotto indipendenza?
comunque se ho roba tipo

$E[(sum x_1)/(N+sum x_i)]$

posso trattare separatamente nominatore e denominatore vero?

"DajeForte":
P.S. ma lo hai risolto l'altro problema, se no fammelo sapere vediamo che si può fare.

risolto


per il resto a domani, buonanotte

[DajeForte]

"markowitz":
comunque se ho roba tipo

$E[(sum x_1)/(N+sum x_i)]$

posso trattare separatamente nominatore e denominatore vero?

No!

puoi fare $sum E[X_i/(N+sum X_i)]$

Poi se hai indipendenza (ma in quel caso lo vedo difficile perchè le stesse variabili creano numeratore e denominatore - ci metto allora una variabile Y)

$E[Y_i/(N+sum X_i)]=E[Y_i]\ E[1/(N+sum X_i)]$ Come vedi puoi spezzare la media ma la seconda non la puoi portare al denominatore.

[markowitz]

Ciao DajeForte, prima di tutto grazie per le risposte.

1) adesso ricordo che $E[g(x)f(y)]=E[g(x)]E[f(y)]$ solo sotto indipendenza
ne deduco che, nel caso del rapporto,
$E[g(x)/f(y)]=E[g(x)]E[1/f(y)]$ solo sotto indipendenza. Di portar giù il valore atteso non se ne parla.

se c'è $x$ sopra e sotto, o comunque dipendenza, a prescindere da f e g non posso fare neppure tale passaggio.
Giusto?

2) Ho finito l'esercizio di prima e risulta $E[lambda_(ML)]=lambda*N/(N-1)$ ed è giusta
$V[lambda_(ML)]=N^2*lambda^2/((N-1)^2*(N-2))$ e penso sia giusta.
ma il limite di Cramer Rao mi viene $(lambda^2/N)*(1-(1/(N-1)))^2$ e, se non erro, per $n>=5$ e $ ed è assurdo!!! ma non trovo l'errore. Dov'è???

3)Per quanto riguarda la "legge Empirica del caso" (alla discussione non aveva partecipato nessuno e me de dispiace, avrei voluto sentire più opinioni) ci ho pensato molto e per me il problema è di nomenclatura.
La "legge dei grandi numeri"(LLN) è si dimostrabile, come qualsiasi teorema della matematica, altrimenti non stiamo parlando di matematica è proprio qui il punto! Tra l'altro ci sono due versioni una debole ed una forte, e più strade per la/le dimostrazione/i.

dal mio punto di vista la "legge empirica del caso" (LEC) non è un sinonimo, è qui che penso sbagli il libro che citavo; e non solo.
In sostanza adesso si parla di esperimenti ed il fatto di ripeterli sempre nelle stesse condizioni, assomiglia ma non equivale in tutto e per tutto ad imporre estrazioni iid (almeno per me). In definitiva qui si parla di casi concreti non di schemi astratti quindi non siamo in matematica ma in fisica sperimentale . Al massimo la LEC riguarda un risultato sperimentale che valida come corretta l’applicabilità della LLN. Se i dati confermano la convergenza allora vuol dire che le assunzioni del teorema della LLN sono valide anche nella realtà, altrimenti non lo sono. Ma la LLN in se e per se sarebbe salva comunque.
Ma è solo il mio punto di vista che forse nasce dall’aver visto troppa Econometria.

[DajeForte]

"markowitz":3)Per quanto riguarda la "legge Empirica del caso" (alla discussione non aveva partecipato nessuno e me de dispiace, avrei voluto sentire più opinioni) ci ho pensato molto e per me il problema è di nomenclatura.
La "legge dei grandi numeri"(LLN) è si dimostrabile, come qualsiasi teorema della matematica, altrimenti non stiamo parlando di matematica è proprio qui il punto! Tra l'altro ci sono due versioni una debole ed una forte, e più strade per la/le dimostrazione/i.

dal mio punto di vista la "legge empirica del caso" (LEC) non è un sinonimo, è qui che penso sbagli il libro che citavo; e non solo.
In sostanza adesso si parla di esperimenti ed il fatto di ripeterli sempre nelle stesse condizioni, assomiglia ma non equivale in tutto e per tutto ad imporre estrazioni iid (almeno per me). In definitiva qui si parla di casi concreti non di schemi astratti quindi non siamo in matematica ma in fisica sperimentale . Al massimo la LEC riguarda un risultato sperimentale che valida come corretta l’applicabilità della LLN. Se i dati confermano la convergenza allora vuol dire che le assunzioni del teorema della LLN sono valide anche nella realtà, altrimenti non lo sono. Ma la LLN in se e per se sarebbe salva comunque.
Ma è solo il mio punto di vista che forse nasce dall’aver visto troppa Econometria.

Prego. Mi trovi d'accordo su questo.

"markowitz":
1) adesso ricordo che $E[g(x)f(y)]=E[g(x)]E[f(y)]$ solo sotto indipendenza
ne deduco che, nel caso del rapporto,
$E[g(x)/f(y)]=E[g(x)]E[1/f(y)]$ solo sotto indipendenza. Di portar giù il valore atteso non se ne parla.

se c'è $x$ sopra e sotto, o comunque dipendenza, a prescindere da f e g non posso fare neppure tale passaggio.
Giusto?

Si. Il primo passaggio ti dice che la media prodotto è uguale al prodotto delle medie. (Nota che stiamo in generalità riferirsi a x e y o a g(x) e f(y) è la stessa cosa, stiamo parlando in generale di variabili aleatorie.)

Puoi se vuoi rilassare l'ipotesi con la non correlazione (Covarianza nulla) che implica sempre media prodotto uguale prodotto medie.

"markowitz":
2) Ho finito l'esercizio di prima e risulta $E[lambda_(ML)]=lambda*N/(N-1)$ ed è giusta
$V[lambda_(ML)]=N^2*lambda^2/((N-1)^2*(N-2))$ e penso sia giusta.
ma il limite di Cramer Rao mi viene $(lambda^2/N)*(1-(1/(N-1)))^2$ e, se non erro, per $n>=5$ e $ ed è assurdo!!! ma non trovo l'errore. Dov'è???

La media dello stimatore mi pare diricordare sia giusta; è asintoticamente corretta ma non corretta. Per la varianza non me la ricordo assolutamente non ti posso dare conferme. Però l'errore potrebbe essere (probabilmente è la) nel fatto che lo stimatore è distorto allora devi applicare una correzione al bound di Cramer-Rao che se non ricordo male è inserire al numeratore dell'informazione di Fisher la derivata del valore atteso dello stimatore.

C'è nel link di wiki che ti ho dato ieri.
Fammi sapere.

[markowitz]

"DajeForte":
La media dello stimatore mi pare diricordare sia giusta; è asintoticamente corretta ma non corretta. Per la varianza non me la ricordo assolutamente non ti posso dare conferme. Però l'errore potrebbe essere (probabilmente è la) nel fatto che lo stimatore è distorto allora devi applicare una correzione al bound di Cramer-Rao che se non ricordo male è inserire al numeratore dell'informazione di Fisher la derivata del valore atteso dello stimatore.

C'è nel link di wiki che ti ho dato ieri.
Fammi sapere.

E' proprio quello che ho cercato di fare. Rivedendo i conti devo dire che CRLB è sempre inferiore alla mia stima, al limite uguale quindi forse ci sono.
Il bias a numeratore l'ho messo è proprio quello che fa saltar fuori la second parentesi. ma c'è una cosa che mi disturba.
sul link

http://en.wikipedia.org/wiki/Cram%C3%A9 ... 3Rao_bound

appena prima di passare al caso multivariato sembra dica che, in temini di matrice di Fisher,
$V(theta_(ML))$ sia diverso da $E((theta_(ML)-theta)^2)$ e non capisco perché. Io ho preso per buona la
prima formula. hai lui da darmi?

[DajeForte]

La varianza dello stimatore è $Var[theta_M]=E[(theta_M-E[theta_M])^2]$, il punto è che se lo stimatore è distorto, $E[theta_M]!=theta$

$E[(theta_M-theta)^2]=Var[theta_M]+b(theta_M)^2$ dove b è il bias (la distorsione $E[theta_M]-theta$)
Questo si chiama Mean Square Error

e coincide con la variaza se e solo se lo stimatore è corretto (b=0).

Era questo quello che chiedevi?

[markowitz]

Perfetto era proprio quello che mi era sfuggito. Ancora grazie

In un esercizio similare a quello fatto ma con $f(x)=theta*x^(theta-1)$

mi riconduco ad uno stimatore dei momenti dove

$theta_(MM)=(sum x_i)/(N-sum x_i)$

io pensavo che fosse corretto perché portavo giù il valore attese e tutto tornava.
Ma ho capito che non si può.

Perché ti spiego, l'esercizio chiedeva di discutere le proprietà asintotiche dello stimatore

ma adesso per andare avanti sono obbligato a definire $S=(sum x_i)$ ? (che non penso sia nota)
perché se fosse così l'esercizio diventerebbe di tutt'altra portata.
Ma allora cosa si deve rispondere?
Ed in generale gli stimatori dei momenti che proprietà hanno? Io so solo che sono consistenti.