Informazione di Fisher??
Salve, non capisco le soluzioni cosa fanno. Io direi che sono sbagliate onestamente! Mi aiutereste gentilmente a capire. Nel punto ii) non capisco come fa a calcolare l'informazione di Fisher. E nel punto i) non capisco perché nel MLE di \( \alpha \) inserisce il MLE di \( \beta \).
Sia \( X \) una variabile aleatoria con funzione di densità \( f \), data da
\[ f(x) = \left\{\begin{matrix}
\frac{\alpha \beta^{\alpha}}{x^{\alpha+1}}& \text{se} & x \geq \beta \\
& & \\
0& & \text{altrimenti}
\end{matrix}\right. \]
dove \( \alpha > 0 \) e \( \beta > 0 \) sono i parametri della distribuzione.
i) Quali sono gli stimatori di massima verosimiglianza per \( \alpha \) e \( \beta \) ?
ii) Calcolare l'informazione di Fisher per \( \beta \). Lo stimatore di massimo verosimiglianza di \( \beta \) soddisfa il limite di Cramer-Rao?
Io farei così:
i)
\[ L_n( \alpha,\beta) = \prod_{i=1}^{n} f(X_i;\alpha,\beta) = \left(\alpha \beta^{\alpha} \right)^n \cdot \frac{\mathbf{1}_{\min_{i} X_i \geq \beta}}{\left( \prod_{i=1}^{n} X_i \right)^{\alpha+1}} \]
Ora chiaramente se \( X_i \geq \beta \) per ogni \( i =1,\ldots, n \) abbiamo che aumentando \( \beta \) risulta che \( L_n \) aumenta, dunque
\[ \widehat{\beta} = \min_{i=1,\ldots,n} X_i \]
Mentre per quanto riguarda il massimo di verosimiglianza di \( \alpha \). Abbiamo che è soluzione di
\[ \frac{\partial}{\partial \alpha} \ell_n(\alpha,\beta) = \frac{\partial}{\partial \alpha} \log L_n(\alpha,\beta) =0 \]
abbiamo che
\[\ell_n(\alpha,\beta) = n \log \alpha + n \alpha \log \beta - (\alpha+1) \sum_{i=1}^{n} \log X_i \]
da cui risulta che
\[ \frac{\partial}{\partial \alpha} \ell_n(\alpha,\beta) = \frac{n}{\alpha} + n \log \beta -\sum_{i=1}^{n} \log X_i \]
e la soluzione è data da
\[ \alpha = \left( - \log \beta + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1} \]
è chiaramente un massimo poiché calcolando
\[ \frac{\partial^2}{\partial^2 \alpha} \ell_n(\alpha,\beta) = - \frac{n}{\alpha^2} < 0\]
per ogni \( \alpha \in \mathbb{R} \).
Quindi \[ (\widehat{\alpha},\widehat{\beta}) = (\left( - \log \beta + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1},\min_{i=1,\ldots,n} X_i ) \]
L'unica cosa che differenzia dalle soluzioni è che le soluzioni dicono che
\[ \widehat{\alpha} = \left( - \log \widehat{\beta} + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1} \]
e mi chiedevo perché.
ii)
L'informazione di Fisher è data da
\[ I(\beta)=\mathbb{E} \left[ \left( \frac{\partial}{\partial \beta} \log f(X,\alpha,\beta) \right)^2 \right] \]
quindi calcolando ottengo
\[I(\beta)= \mathbb{E} \left[ \left( \frac{\frac{\partial}{\partial \beta} f(X,\alpha,\beta)}{f(X,\alpha, \beta)} \right)^2 \right] = \mathbb{E} \left[ \left( \frac{ \frac{\alpha^2}{x^{\alpha+1}} \beta^{\alpha-1} }{ \frac{\alpha}{x^{\alpha+1}} \beta^{\alpha} } \right)^2 \right] = \mathbb{E} \left[ \left( \frac{\alpha}{\beta} \right)^2 \right] = \frac{\alpha^2}{\beta^2} \]
le soluzioni dicono
\[I(\beta)= - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \beta} f(X,\alpha,\beta) \right) = - \mathbb{E} \left( - \frac{\alpha}{\beta^2} \right) = \frac{\alpha}{\beta^2} \]
a parte il typo perché credo che intenda
\[I(\beta)= - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \beta} \log f(X,\alpha,\beta) \right) \]
e così viene. Non mi sembra che siano uguali i due risultati.
Ora io ho due esercizi che sono i seguenti in mi si chiede di dimostrare quanto segue
Esercizio 1:
Sia \( X_1,\ldots,X_n \) un campione iid ottenuto a partire da una distribuzione la cui funzione di densità/massa \( f(x,\theta_0) \) appartiene ad una famiglia esponenziale non degenere a 1-parametro.
\[ f(x,\theta) = \exp \{ \eta(\theta) T(x) - d(\theta) + S(x) \} \]
Supponiamo che
1. Lo spazio dei parametri \( \Theta \subset \mathbb{R} \) è un insieme aperto
2. La funzione \( \eta(\cdot) \) è una biiezione due volte continuamente derivabile tra \( \Theta \) e \( \eta(\Theta) \), di derivata mai nulla
3. La funzione \(T \) non è una costante
Allora
\[ \mathbb{E} \left[ \left( \frac{\partial}{\partial \theta} \log f(X,\theta) \right)^2 \right] = - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \theta} \log f(X,\theta) \right) \]
Esercizio 2:
Sia \( f(x,\theta) \) un modello parametrico regolare (non forzatamente una famiglia esponenziale) tale che
\[ \mathcal{X} = \{ x \in \mathbb{R} : f(x,\theta) > 0 \} \]
non dipende da \( \theta \) e tale che \(f\) è doppiamente derivabile per rapporto a \( \theta \). Sia \( X_1,\ldots, X_n \sim^{iid} f(x,\theta) \). Dimostra che
\[ \mathbb{E} \left[ \left( \frac{\partial}{\partial \theta} \log f(X,\theta) \right)^2 \right] = - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \theta} \log f(X,\theta) \right) \]
A me sembra però che le due ipotesi non sono soddisfatte, in un caso il supporto dipende da \( \theta \) (esercizio 2) nell'altro non è una famiglia esponenziale ad 1-parametro. Non è nemmeno una famiglia esponenziale siccome il supporto dipende dal parametro appunto!!
Infatti i due risultati non sono uguali.
La cosa è che questo era una prova d'esame, o meglio le correzioni della prova di esame e mi sembra altamente improbabile che vi sia un errore.
Sia \( X \) una variabile aleatoria con funzione di densità \( f \), data da
\[ f(x) = \left\{\begin{matrix}
\frac{\alpha \beta^{\alpha}}{x^{\alpha+1}}& \text{se} & x \geq \beta \\
& & \\
0& & \text{altrimenti}
\end{matrix}\right. \]
dove \( \alpha > 0 \) e \( \beta > 0 \) sono i parametri della distribuzione.
i) Quali sono gli stimatori di massima verosimiglianza per \( \alpha \) e \( \beta \) ?
ii) Calcolare l'informazione di Fisher per \( \beta \). Lo stimatore di massimo verosimiglianza di \( \beta \) soddisfa il limite di Cramer-Rao?
Io farei così:
i)
\[ L_n( \alpha,\beta) = \prod_{i=1}^{n} f(X_i;\alpha,\beta) = \left(\alpha \beta^{\alpha} \right)^n \cdot \frac{\mathbf{1}_{\min_{i} X_i \geq \beta}}{\left( \prod_{i=1}^{n} X_i \right)^{\alpha+1}} \]
Ora chiaramente se \( X_i \geq \beta \) per ogni \( i =1,\ldots, n \) abbiamo che aumentando \( \beta \) risulta che \( L_n \) aumenta, dunque
\[ \widehat{\beta} = \min_{i=1,\ldots,n} X_i \]
Mentre per quanto riguarda il massimo di verosimiglianza di \( \alpha \). Abbiamo che è soluzione di
\[ \frac{\partial}{\partial \alpha} \ell_n(\alpha,\beta) = \frac{\partial}{\partial \alpha} \log L_n(\alpha,\beta) =0 \]
abbiamo che
\[\ell_n(\alpha,\beta) = n \log \alpha + n \alpha \log \beta - (\alpha+1) \sum_{i=1}^{n} \log X_i \]
da cui risulta che
\[ \frac{\partial}{\partial \alpha} \ell_n(\alpha,\beta) = \frac{n}{\alpha} + n \log \beta -\sum_{i=1}^{n} \log X_i \]
e la soluzione è data da
\[ \alpha = \left( - \log \beta + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1} \]
è chiaramente un massimo poiché calcolando
\[ \frac{\partial^2}{\partial^2 \alpha} \ell_n(\alpha,\beta) = - \frac{n}{\alpha^2} < 0\]
per ogni \( \alpha \in \mathbb{R} \).
Quindi \[ (\widehat{\alpha},\widehat{\beta}) = (\left( - \log \beta + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1},\min_{i=1,\ldots,n} X_i ) \]
L'unica cosa che differenzia dalle soluzioni è che le soluzioni dicono che
\[ \widehat{\alpha} = \left( - \log \widehat{\beta} + \frac{1}{n} \sum_{i=1}^{n} \log X_i \right)^{-1} \]
e mi chiedevo perché.
ii)
L'informazione di Fisher è data da
\[ I(\beta)=\mathbb{E} \left[ \left( \frac{\partial}{\partial \beta} \log f(X,\alpha,\beta) \right)^2 \right] \]
quindi calcolando ottengo
\[I(\beta)= \mathbb{E} \left[ \left( \frac{\frac{\partial}{\partial \beta} f(X,\alpha,\beta)}{f(X,\alpha, \beta)} \right)^2 \right] = \mathbb{E} \left[ \left( \frac{ \frac{\alpha^2}{x^{\alpha+1}} \beta^{\alpha-1} }{ \frac{\alpha}{x^{\alpha+1}} \beta^{\alpha} } \right)^2 \right] = \mathbb{E} \left[ \left( \frac{\alpha}{\beta} \right)^2 \right] = \frac{\alpha^2}{\beta^2} \]
le soluzioni dicono
\[I(\beta)= - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \beta} f(X,\alpha,\beta) \right) = - \mathbb{E} \left( - \frac{\alpha}{\beta^2} \right) = \frac{\alpha}{\beta^2} \]
a parte il typo perché credo che intenda
\[I(\beta)= - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \beta} \log f(X,\alpha,\beta) \right) \]
e così viene. Non mi sembra che siano uguali i due risultati.
Ora io ho due esercizi che sono i seguenti in mi si chiede di dimostrare quanto segue
Esercizio 1:
Sia \( X_1,\ldots,X_n \) un campione iid ottenuto a partire da una distribuzione la cui funzione di densità/massa \( f(x,\theta_0) \) appartiene ad una famiglia esponenziale non degenere a 1-parametro.
\[ f(x,\theta) = \exp \{ \eta(\theta) T(x) - d(\theta) + S(x) \} \]
Supponiamo che
1. Lo spazio dei parametri \( \Theta \subset \mathbb{R} \) è un insieme aperto
2. La funzione \( \eta(\cdot) \) è una biiezione due volte continuamente derivabile tra \( \Theta \) e \( \eta(\Theta) \), di derivata mai nulla
3. La funzione \(T \) non è una costante
Allora
\[ \mathbb{E} \left[ \left( \frac{\partial}{\partial \theta} \log f(X,\theta) \right)^2 \right] = - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \theta} \log f(X,\theta) \right) \]
Esercizio 2:
Sia \( f(x,\theta) \) un modello parametrico regolare (non forzatamente una famiglia esponenziale) tale che
\[ \mathcal{X} = \{ x \in \mathbb{R} : f(x,\theta) > 0 \} \]
non dipende da \( \theta \) e tale che \(f\) è doppiamente derivabile per rapporto a \( \theta \). Sia \( X_1,\ldots, X_n \sim^{iid} f(x,\theta) \). Dimostra che
\[ \mathbb{E} \left[ \left( \frac{\partial}{\partial \theta} \log f(X,\theta) \right)^2 \right] = - \mathbb{E} \left( \frac{\partial^2}{\partial^2 \theta} \log f(X,\theta) \right) \]
A me sembra però che le due ipotesi non sono soddisfatte, in un caso il supporto dipende da \( \theta \) (esercizio 2) nell'altro non è una famiglia esponenziale ad 1-parametro. Non è nemmeno una famiglia esponenziale siccome il supporto dipende dal parametro appunto!!
Infatti i due risultati non sono uguali.
La cosa è che questo era una prova d'esame, o meglio le correzioni della prova di esame e mi sembra altamente improbabile che vi sia un errore.
Risposte
per lo stimatore di Max Verosimiglianza certo che hanno ragione "loro"...a te viene che lo stimatore di $alpha$ dipende dal valore IGNOTO di $beta$....è cone dire che la stima della media è data dal doppio del valore vero della varianza ignota...uno stimatore è una funzione dei soli dati del campione, cioè dei dati che si possono desumere da un certo esperimento (lancio la moneta, estraggo le palline dal bussolotto, misuro il diametro delle viti, ecc ecc)...
Quando hai due parametri ignoti devi stimarne uno calcolando ciò che si chiama "verosimiglianza profilo" e poi stimi l'altro con il vincolo del primo stimatore...
Se hai una normale $N(mu,sigma^2)$ cosa ti viene lo stimatore della varianza? Ci metti dentro la media campionaria o sbaglio?
Per quanto riguarda l'informazione di Fisher della tua densità (che per inciso è una distribuzione nota: una Pareto) non mi avete convinto, né tu né la soluzione: E' un modello irregolare e le condizioni di generalità non sono soddisfatte, avendo il dominio che dipende dal parametro. Tieni presente che per calcolare il limite inferiore di CR di una uniforme (altro modello rognoso) si fa così
Nel link che ti ho messo le matrici di informazione di Fisher le mette tutte e due, sia col tuo risultato che "il loro"... boh, ammetto l'ignoranza nella questione
Nel link trovi anche i risultati della stima dei parametri, tra l'altro espressi in modo più compatto e chiaro.
Quando hai due parametri ignoti devi stimarne uno calcolando ciò che si chiama "verosimiglianza profilo" e poi stimi l'altro con il vincolo del primo stimatore...
Se hai una normale $N(mu,sigma^2)$ cosa ti viene lo stimatore della varianza? Ci metti dentro la media campionaria o sbaglio?
Per quanto riguarda l'informazione di Fisher della tua densità (che per inciso è una distribuzione nota: una Pareto) non mi avete convinto, né tu né la soluzione: E' un modello irregolare e le condizioni di generalità non sono soddisfatte, avendo il dominio che dipende dal parametro. Tieni presente che per calcolare il limite inferiore di CR di una uniforme (altro modello rognoso) si fa così
Nel link che ti ho messo le matrici di informazione di Fisher le mette tutte e due, sia col tuo risultato che "il loro"... boh, ammetto l'ignoranza nella questione
Nel link trovi anche i risultati della stima dei parametri, tra l'altro espressi in modo più compatto e chiaro.
[ot]Scusate l'intrusione, ma ogni volta che leggo di Fisher mi viene in mente questo meme...
Che è idiota, ma mi fa ridere assai.
[/ot]
Che è idiota, ma mi fa ridere assai.
[/ot]
"tommik":
Per quanto riguarda l'informazione di Fisher della tua densità (che per inciso è una distribuzione nota: una Pareto) non mi avete convinto, né tu né la soluzione: E' un modello irregolare e le condizioni di generalità non sono soddisfatte, avendo il dominio che dipende dal parametro. Tieni presente che per calcolare il limite inferiore di CR di una uniforme (altro modello rognoso) si fa così
Nel link che ti ho messo le matrici di informazione di Fisher le mette tutte e due, sia col tuo risultato che "il loro"... boh, ammetto l'ignoranza nella questione
Nel link trovi anche i risultati della stima dei parametri, tra l'altro espressi in modo più compatto e chiaro.
Okay, apparentemente una compagna di corso ha chiesto la medesima cosa all'assistente e gli ha risposto che inizialmente la domanda era pensata rispetto ad \( \alpha \), con \( \beta \) fissato, quindi poteva utilizzare il fatto che
\[ I(\alpha)=- \mathbb{E} \left[ \frac{\partial^2 }{\partial^2 \alpha} \log f(X,\alpha,\beta) \right] \]
poi hanno cambiato la domanda ma ha cambiato distrattamente le correzioni. E quindi l'informazione di Fisher di \( \beta \) è
\[ I(\beta)= \mathbb{E} \left[ \left( \frac{\partial}{\partial \beta} \log f(X,\alpha,\beta) \right)^2 \right] \]
dopo abbiamo che la funzione di ripartizione di \(f\) è data da
\[ F(x) = \int_{-\infty}^{x} f(X,\alpha,\beta) dt = \int_{\beta}^{x} \frac{\alpha \beta^{ \alpha}}{t^{\alpha+1}} dt = 1 - \left( \frac{\beta}{x} \right)^{\alpha} \]
dunque abbiamo che la distribuzione dello stimatore di massimo verosimiglianza \( \widehat{\beta}_{EMV} \) è dato da
\[ F_{\widehat{\beta}_{EMV}}(x) = 1 - \left( 1- F(x) \right)^n = 1 - \left( \frac{\beta}{x} \right)^{n\alpha} \]
derivando otteniamo
\[ f_{\widehat{\beta}_{EMV}}(x) = \frac{ n \alpha \beta^{n\alpha}}{x^{n \alpha +1}} \]
da cui abbiamo che
\[ \mathbb{E} \left( \widehat{\beta}_{EMV} \right) = \int_{\beta}^{\infty} x \cdot \frac{ n \alpha \beta^{n\alpha}}{x^{n \alpha +1}} dx = \int_{\beta}^{\infty} \frac{ n \alpha \beta^{n\alpha}}{x^{n \alpha}} dx = n \alpha \beta^{n \alpha} \left( \frac{1}{ (1-n \alpha ) x^{n \alpha -1} } \right)_{\beta}^{\infty} = \frac{ n \alpha \beta}{(n \alpha - 1 )} \]
Mentre
\[ \int_{\beta}^{\infty} x^2 \cdot \frac{ n \alpha \beta^{n\alpha}}{x^{n \alpha +1}} dx = \int_{\beta}^{\infty} \frac{ n \alpha \beta^{n\alpha}}{x^{n \alpha-1}} dx = n \alpha \beta^{n \alpha} \left( \frac{1}{ (2-n \alpha ) x^{n \alpha -2} } \right)_{\beta}^{\infty} = \frac{ n \alpha \beta^2}{(n \alpha - 2 )} \]
da cui
\[ \operatorname{Var} \left( \widehat{\beta}_{EMV} \right) = \mathbb{E} \left( \widehat{\beta}_{EMV}^2 \right) - \mathbb{E} \left( \widehat{\beta}_{EMV} \right)^2 = \frac{ n \alpha \beta^2}{(n \alpha - 2 )} - \frac{ n^2 \alpha^2 \beta^2}{(n \alpha - 1 )^2} = \frac{ n \alpha \beta^2 (n \alpha - 1 )^2 - n^2 \alpha^2 \beta^2 (n \alpha - 2)}{(n \alpha - 2 )(n \alpha - 1 )^2} = \frac{n \alpha \beta^2 }{(n \alpha - 2 )(n \alpha - 1 )^2} \]
Pertanto abbiamo che il limite di Cramer-Rao è rispettato se e solo se
\[ \operatorname{Var} \left( \widehat{\beta}_{EMV} \right) \geq \frac{ \left[\frac{\partial}{\partial \beta} \left( \mathbb{E} \left( \widehat{\beta}_{EMV} \right) - \beta \right) +1 \right]^2}{nI(\beta)} \]
risulta dunque che
\[ \frac{ \left[\frac{\partial}{\partial \beta} \left( \mathbb{E} \left( \widehat{\beta}_{EMV} \right) - \beta \right) +1 \right]^2}{nI(\beta)} = \left( \frac{ n \alpha}{n \alpha - 1} \right)^2 \frac{\beta^2}{n \alpha^2} = \frac{ n \beta^2}{ (n\alpha - 1)^2} \]
da cui
\[ \frac{n \alpha \beta^2 }{(n \alpha - 2 )(n \alpha - 1 )^2} \geq \frac{ n \beta^2}{ (n\alpha - 1)^2} \]
se e solo se risulta che
\[ \frac{\alpha}{n \alpha - 2 } \geq 1 \]
Se \(n =1 \) abbiamo chiaramente che \( \frac{ \alpha}{\alpha-2} \geq 1 \) con \( \alpha > 2 \).
Se \( n > 1 \) abbiamo chiaramente che \( \frac{\alpha}{n\alpha-2} \geq 2 \) con \( \frac{2}{n} < \alpha \leq \frac{2}{n-1} \).
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo