Stima Varianza Residui attraverso la Max Verosimiglianza

[sportek]

salve a tutti devo trovare la la stima della varianza degli errori della regressione attraverso il metodo della max verosimiglianza.

il risultato deve dare: $ hat(sigma)_(MLE)^2=(RSS)/T $


partendo dalla log-verosimiglianza:


$ -T/2ln(2pi) -T/2ln(sigma^2)-1/(2sigma^2)sum_t(y_t-alpha-betax_t)^2 = lnL(.) $



faccio la derivata per trovare e la uguaglio a zero per trovare il max



ma non riesco a ottenere il giusto risultato, qualcuno conosce questa dimostrazione per la regressione lineare? non riesco a trovarla da nessuna parte. Grazie in anticipo

[Lo_zio_Tom]

Se sostituisci $alpha, beta$ con le loro stime $hat(alpha), hat(beta)$ la somma che hai scritto è proprio la somma dei residui al quadrato: RSS.

derivi rispetto a $sigma ^2$ ed ottieni

$-T/(2sigma^2)+(RSS)/(2sigma^4)$

Poni = zero e risolvi in $sigma^2$

Fine

"sportek":salve a tutti ...qualcuno conosce questa dimostrazione per la regressione lineare? non riesco a trovarla da nessuna parte. Grazie in anticipo

Sì, non si trova ma non è difficile ricavarsela. Eccola, in generale nel caso multivariato, così può essere utile anche ad altri utenti

Partiamo dal consueto modello[nota]$y, beta, epsilon$ sono vettori mentre $X$ è la matrice dei dati; il numero di regressori è $k$[/nota]

$y=Xbeta+epsilon$

Per calcolare lo stimatore di massima verosimiglianza dobbiamo imporre alcune ipotesi più restrittive

i) $epsilon~N(ul(0);sigma^2I_n)$

ii) $"rango"(X)=k$

A questo punto la verosimiglianza è

$L prop (sigma^2)^(-n/2)exp{-1/(2sigma^2)(y-Xbeta)'(y-Xbeta)}$

$l=-n/2logsigma^2-1/(2sigma^2)(y-Xbeta)'(y-Xbeta)=-n/2logsigma^2-1/(2sigma^2)(y'y-2beta'X'y+beta'X'Xbeta)$

$(partiall)/(partialbeta)=-1/(2sigma^2)[-2X'y+2X'Xbeta]=(X'y-X'Xbeta)/sigma^2=ul(0)$

$hat(beta)_(ML)=(X'X)^(-1)X'y$

lo stimatore di $beta$ coincide con quello ai minimi quadrati!

riprendiamo la logverosimiglianza sostituendo il dato stimato $hat(beta)$ ottenendo la logverosimiglianza profilo per la varianza

$l=-n/2logsigma^2-1/(2sigma^2)(y-Xhat(beta))'(y-Xhat(beta))$

$(partiall)/(partial sigma^2)=-n/(2sigma^2)+1/(2sigma^4)(y-Xhat(beta))'(y-Xhat(beta))=0$

$hat(sigma)_(ML)^2=((y-Xhat(beta))'(y-Xhat(beta)))/n=(RSS)/n$

Come si vede, e come spesso capita con gli stimatori di massima verosimiglianza, è uno stimatore distorto per $sigma^2$