Stima di Max-Verosimiglianza nel caso bivariato

slash2
Salve a tutti!!
Sto cercando di risolvere questo esercizio sulla stima di massima verosimiglianza nel caso di una variabile casuale bivariata ma non so se sto procedendo in modo corretto, per cui vorrei chiedervi un aiuto per poter capire se sto sbagliando e cosa nel caso.
Vi ringrazio anticipatamente tutti per qualsiasi tipo di aiuto.
Di seguito posto la traccia dell'esercizio e la risoluzione che ho dato io...spero sia corretta...


Siano ($x_i$,$y_i$) determinazioni indipendenti di una variabile casuale bivariata (X,Y) con distribuzione congiunta definita come segue:

X/Y=y $\sim$ N(0, $sigma^2*y^2$)
Y$\sim$Exp($\lambda$)

dove $sigma^2$ e $\lambda$ sono parametri incogniti positivi.

1)Determinare lo stimatore di massima verosimiglianza ($\hat sigma^2$,$\hat lambda$)e stabilire se è corretto e consistente.
2)Calcolare la matrice di varianze e covarianze di ($\hat sigma^2$,$\hat lambda$) e verificare se tale stimatore è ottimo.
3)Ricavare la distribuzione ESATTA ed ASINTOTICA di ($\hat sigma^2$,$\hat lambda$).
4)Costruire il test basato sul rapporto di verosimiglianza per verificare il sistema di ipotesi :

$\H_0$: $\sigma^2$=$\ lambda$=1 VS $\H_1$: $\H_0^c$


Allora io ho proceduto in questo modo:
sono
1) Per quanto riguarda la funzione di verosimiglianza, siccome ($\x_i$,$\y_i$) sono determinazioni indipendenti da una variabile casuale bivariata possiamo dire che la distribuzione congiunta è data da:


$f(x,y)$=$ f_(x|y)$*$f_y$

per cui la funzione di verosimiglianza sarà data da:

$\prod_{i=1}^n f(x,y)$

Passando alla funzione di log-verosimiglianza ottengo che essa è data da:

l($\sigma^2$,$\lambda$)= -nlog $\sigma^2$$\y^2$- $\(x^2)/(2*sigma^2 y^2)$+nlog $\lambda$- $\lambda$$\sum_{i=1}^n y_i$

Ora derivando parzialmente la funzione di log-verosimiglianza rispetto ai due parametri ed uguagliando a zero le derivate, ottengo:

$\hat sigma^2$= $\1$/$\(2n)$*$\sum_{i=1}^n x^2/y^2$ stimatore di $\hat sigma^2$

e

$\hat lambda^2$= $\n/(sum_{i=1}^n y_)$ stimatore di $\hat lambda$

Per quanto concerne la correttezza degli stimatori abbiamo che:

i) Lo stimatore di $\hat sigma^2$ è corretto ovvero non distorto (ho risolto utilizzando l'approssimazione della normale al chi-quadrato) e consistente poichè il limite della varianza dello stesso (qui per la varianza ho supposto che $\(x^2)/(y^2)$ si distribuisse come un chi-quadrato essendo il quadrato di una variabile casuale normale N(0, $sigma^2*y^2$) ) al tendere di n all'infinito tende a zero.
La varianza in questo caso è risultata pari a $\ sigma^4$$y^4$

ii) Per quanto concerne $\hat lambda^2$ ho verificato la sua correttezza valutando che la sommatoria di variabili casuali esponenziali ( in quanto posto $\S_1$=$\(sum_{i=1}^n y_i)$ si distribuisce come una variabile casuale gamma di parametri n e $\lambda$) e quindi:

E($\hat lambda$)= $\n/(sum_{i=1}^n y_)$=
= n * E($\(1)/(S_1)$ =
= n *$\int_0^(Inf) (1)/(s_1)*(lambda^n)/(Gamma(n))*s_1^(n-1)*e^(-lambda*s_1)ds1$

alla fine si ottiene (non scrivo tutti i passaggi) che

E($\hat lambda$) =$\(n)/(n-1)*lambda$


e in sostanza non siamo in presenza di uno stimatore corretto.
Ugualamente per la verifica della consistenza calcolo la var($\hat lambda$) che, operando come per il valore atteso, dà alla fine che :

var($\hat lambda$)=$\(lambda^2)/(n-2)$

e quindilo stimatore risluta consistente asintoticamente per via del fatto che al tendere di n all'infinito la varianza si riduce a 0 (modo molto semplicistico di spiegare la cosa ma fatemelo passare ;)).

2)Per quanto riguarda la matrice di var-covar calcolando le derivate del secondo ordine ho che la matrice è data da:


$\Sigma$ =$[[$\-(n)/(lambda^2)$,0],[0,$(n)/(sigma^4)$-$(x^2)/(sigma^5 y^2)$]]$


ovvero è una matrice diagonale. Ora per poter verificare se tale stimatore sia ottimo sarebbe opportuno applicare la disuguaglianza di Cramér-Rao e verificare se il limite inferiore di Cramér-Rao è raggiunto. In pratica si tratta di verificare ( questa è la formula nel caso generale di uno stimatore $\theta$) se:


Var($\theta$)$>=$ $\ (1)/ (I(theta))$

dove $\I(theta)$ è la matrice di informazione di Fisher.

quindi nel nostro caso il limite inferiore di Cramér-Rao non è raggiunto per $\I(lambda)$ mentre è raggiunto per $\I(sigma^2)$.

Fino a qui procedo bene?...che ne dite?!...
Grazie...

Risposte
Andrea2976
Provo a fare il conto iniziale perché la tua funzione di verosimiglianza non è scritta chiaramente.
Se non hai sbagliato i conti quello che scrivi mi sembra giusto,
ma ti ricordo che non basta uguagliare le derivate a zero e dire semplicemente che il punto critico è lo stimatore di max verosimiglianza bisognerebbe dimostrare che sia anche il punto di massimo assoluto. E' vero che le distribuzioni "standard", anche se condizionate, siano unimodali e quindi si giustifica facilmente l'asserto.

Può succedere che...a parte casi patologici in cui lo stimatore di massima verosimiglianza ottenuto sia sulla frontiera oppure sia solo un "sup", in caso di misture tra distribuzioni, ad esempio tra due normali, i punti di massimo siano in generale due o più.



$\prod_{i=1}^{n}f(x_i,y_i)=\prod_{i=1}^{n}\frac{1}{2\pi\sigmay_i}e^{-\frac{x_i^2}{2\sigma y_i}}\lambda e^{-\lambda y_i}=$
$=\prod_{i=1}^{n}\frac{\lambda }{2\pi\sigma}e^{-\frac{x_i^2}{2\sigma y_i}-\lambda y_i-\ln( y_i)}$

$\ln\prod_{i=1}^{n}f(x_i,y_i)=$
$=n\ln(\frac{\lambda}{2\pi\sigma})+\sum_{i=1}^{n}[-\frac{x_i^2}{2\sigma y_i}-\lambda y_i-\ln( y_i)]$

DajeForte
Ciao ho provato a vedere qualche cosa su questo problema ed ho ottenuto i seguenti risultati.
Innanzitutto c'e qualche cosa che non mi convince molto su quello che hai scritto.

La funzione di log-verosimiglianza a me viene (ho escluso i termini non significativi)
$l(\lambda,\sigma^2,x,y) quad = quad -n/2 log (sigma^2 ) + n log (lambda) - \sum_{i=1}^n {\frac{x_1^2}{2\sigma^2 y_i^2}-\lambda y_i}$

Gli stimatori max-vero che mi risultano sono:

$\hat sigma^2 quad = quad 1/n \sum_{i=1}^{n}{x_i^2}/{y_i^2}$

$\hat lambda quad = quad \frac{n}{\sum_{i=1}^n {y_i}}$.

Ora dei due stimatori uno è corretto ($\hat sigma^2$); l'altro è distorto ed ha media $E[\hat lambda]= n/{n-1} lambda$
Per la varianza io ho:

$Var[\hat sigma^2]=2 sigma^4/n$ e $Var[\hat lambda]= n^2/{(n-1)^2} lambda^2/{(n-2)}$ e $Cov(\hat sigma^2 , \hat lambda)=0$;

entrambi hanno varianza infinitesima e sono asintoticamente corretti quindi sono consistenti.

Per le distribuzioni a me risulta che $n quad \hat sigma^2 \sim quad GAMMA(n/2,1/{2 sigma^2})$ che è poi una chi-quadro;
mentre $\hat lambda$ si ottiene come $n$ diviso una gamma, ed ha questa funzione di densità

$f_{\hat lambda} (x) quad = quad (\lambda quad n)^n/{\Gamma(n)} e^{- \frac{n \lambda}{x}} x^{-(n+1)}$ per $x>0$.

Per le distribuzioni asintotiche $\hat sigma^2$ converge in distribuzione ad $N(\sigma^2, quad 2 sigma^4/n)$ mentre $\hat lambda$ converge in distribuzione all'inverso di una normale di parametri $1/lambda$ e $1/{n lambda^2}$ con funzione di densità

$qquad$ $1/{sqrt(2 pi)} e^{-\frac{n lambda^2}{2} (1/x-1/lambda)^2}\frac{lambda sqrt(n)}{x^2}$.

Per quanto riguarda Cramer-Rao hai che lo stimatore di $sigma$ ha varianza pari al limite inferiore;
l'altro stimatore non è corretto per cui o crei uno stimatore corretto oppure consideri la generalizzazione che però ti da una limitazione per la varianza e magari te dovresti lavorare con l' MSE (dipenderà anche da quanto è grande $n$).

Comunque puoi creare lo stimatore $\hat lambda_2 quad = quad (n-1)/n \hat lambda$ che ha varianza pari a $ lambda^2/(n-2)$ che è comunque non uguale al limite inferiore, però è più piccola della varianza dell'altro stimatore ed è corretto.


Come concetti quello che ho scritto dovrebbe essere giusti magari ho sbagliato qualche calcolo o trascrizioni.
Vedi un po' cosa ti torna cosa no e fammelo saper
Ciao

slash2
Ragazzi, scusate innanzitutto il ritardo con cui rispondo e poi vi ringrazio per i vostri suggerimenti...
Dopo aver rifatto i calcoli mi ritrovo con quello che avete scritto...

@Andre2976
Non avevo scritto chiaramente la f. di verosimiglianza in quanto non volevo dilungarmi nella scrittura della formula ma volevo intendere che visto che le variabili erano indipendenti allora valeva la formula per la densità congiunta data dal prodotto della funzione marginale di Y per la funzione condizionata di X/Y per cui la funzione di verosimiglianza risultante era data dalla produttoria della funzione di densità congiunta, quindi come quella che hai scritto tu; tuttavia io avevo considerato $\sigma^2$ e $y^2$ e non $\sigma$ visto che il parametro di interesse è $\sigma^2$.

@DajeForte
Mi ritrovo con il tuo calcolo; l'unico problema che avevo è che consideravo come parametro $\sigma^2$ e non eliminavo $y^2$ nella formalizzazione della verosimiglianza e della log-verosimiglianza per cui ottenevo come ho scritto una funzione di log-verosimiglianza che mi portava a delle stime un pò differenti dalle tue come ad esempio quella di $\sigma^2$ che era data a me( ma poi ho provveduto a correggerla) da:

$\sigma^2$= $1/2n$*$\(sum_{i=1}^n x_i^2)/(\sum_{i=1}^n y_i^2)$ ma poi ho capito grazie al vostro aiuto che lo stimatore in verità era dato da:


$\sigma^2$= $1/2n$*$\(sum_{i=1}^n x_i^2)/(\sum_{i=1}^n y_i^2)$

Ora sto cercando di risolvere il 4) punto cioè quello relativo alla costruzione del test basato sul rapporto di verosimiglianza; quando avrò un pò di tempo per svolgerlo vi posterò i risultati.

Grazie ancora ad entrambi!

slash2
@ DajeForte...

Ciao DajeForte ho continuato questo esercizio ma sinceramente non riesco a proseguire, mi sono fermato all'impostazione del test TRV.

Il rapporto di verosimiglianza dovrebbe essere dato da:

$lambda(x,y)= (L(1,1))/(L(hat lambda^2, hat sigma^2))$ considerando che:

L(1,1)= =$nln(1/(2pi))+sum_{i=1}^n (1/2*x_i^2/y_i^2-y_i)$

e che $L(hat lambda, hat sigma^2)$ è dato da:

$L(hat lambda, hat sigma^2)$=$nln(hat lambda/(2pi*hat sigma^2))+sum_{i=1}^n (1/2*x_i^2/y_i^2*hat sigma^2-hat lambda- ln(y_i))$

da qui non so come poter ricavare la distribuzione esatta del TRV.
Potrei lavorare con la funzione test W che tende ad una chi-quadro asintoticamente...potresti consigliarmi (se ne sei a conoscenza) dove poter trovare degli esercizi risolti simili a quelli che ho postato dove si tratta questo argomento.
Grazie

slash2
Il test del rapporto di verosimiglianza mi viene così:


$W= 2(l(1,1)-l(hat lambda,hat sigma^2))$

mi viene :

$W= sum_{i=1}^n x_i^2/y_i^2*(1- 1/hat sigma^2)-sum_{i=1}^ny_i*(1-hat lambda)-nln(hat sigma^2/hat lambda)$

DajeForte
Allora ti dico subito che la soluzione non mi viene immediata; c'è un po' da pensarci;
purtroppo mercoledì ho un esame e quindi domani non ci posso spendere tempo; però mi interessa il problema e la sua soluzione;
se la ottieni postala.

Guardavo il tuo ultimo post dove esprimi $W$; sei partito dal rapporto di verosimiglianza generalizzato; hai fattoi qualche trasformazione monotona crescente che non cambia i tuoi obbiettivi; così a prima impronta mi pare giusto però cerca di riguardarli per essere sicuro.
Non lo so ora riguardandola mi viene qualche dubbio ma ci devo spendere del tempo;
prova a ridurla all'osso ovvero a te importa dove dipende dai dati facendo trasformazioni monotone (anche decrescenti basta che inverti poi la disuguaglianza);
prova poi a vedere se le sommatorie nelle formule ti si riescono a semplificare con le sommatorie presenti negli stimatori;
e prova a vedere se i due stimatori (le sommatorie) sono indipendenti (calcola che hanno $Cov=0$) e gia questo è un buon indice.

Vedi un po' fammi sapere

slash2
Ehi ciao DajeForte...come è andato l'esame?...spero benone...;)
Ho riprovato a rivedere i conti e il massimo che sono riuscito ad ottenere è questo per ora:


W=$2(l(hat lambda,hat sigma^2)-l(1,1))$=

=$nln(hat lambda/hat sigma^2)-n/2+sum_{i=1}^n (x_i^2/y_i^2)-sum_{i=1}^n y_i+n$

moltiplicando tutto per $1/n$ si ha:

$1/n*(nln(hat lambda/hat sigma^2)-n/2+sum_{i=1}^n (x_i^2/y_i^2)-sum_{i=1}^n y_i+n)$

per cui:

$ln(hat lambda/hat sigma^2)-1/2+sum_{i=1}^n (x_i^2/y_i^2)-sum_{i=1}^n bar y+n$


ora però non riesco ad ottenere una semplificazione in funzione dei dati di questa espressione...

Rispondi
Per rispondere a questa discussione devi prima effettuare il login.