Mi aiutate a capire il modello polinomiale con metodo dei minimi quadrati

[giofriz000]

Devo stimare la retta di trend yt = B0+B1t

ora per calcolare i parametri si usa il metodo dei minimi quadrati

Si parte dalla matrice per poi arrivare l sistema di equazioni solo che non ci ho capito molto...( anche perchè è tutto teorico )
cmq parte dalla matrice fa la trasposta e la moltiplica per qualcosa ..poi arriva alla stima B0 e B1 con tutta una dimostrazione delle sue formule

qualcuno che mi aiuti con la teoria accompagnato da un esempio pratico!

Grazie

[Lo_zio_Tom]

consideriamo un modello lineare del tipo

$y=Xbeta+epsilon$


dove:

$y=[ ( y_(1) ),( ...),( y_(n) ) ] $

$X=[ ( 1 , x_(11) , ... , x_(p1) ),( 1 , ... , ... , ... ),( 1 , x_(1n) , ... , x_(pn) ) ] $

$beta=[ ( beta_(0) ),( ... ),( beta_(p) ) ] $

$epsilon=[ ( epsilon_(1) ),( ... ),( epsilon_(n)) ] $

La stima dei parametri $beta$ si ottiene minimizzando la somma dei quadrati dei residui, ovvero minimizzando

$Q=epsilon'epsilon$

per cui basta calcolare la quantità $Q$, fare la derivata rispetto a $beta$, porre uguale a zero e risolvere in $beta$, come si fa sempre per calcolare i massimi e minimi......non vedo cosa ci sia di straordinario.....


quindi procediamo:

$Q=epsilon'epsilon=(y-Xbeta)'(y-Xbeta)=y'y-y'Xbeta-beta'X'y+beta'X'Xbeta$

calcoliamo la derivata rispetto a $beta$

$(partialQ)/(partialbeta)= -2X'y+2X'Xbeta=[0]$

$X'y=X'Xbeta$

e risolviamo in $beta$ ottenendo:

$hat(beta)=(X'X)^(-1)X'y$

**************************

facciamo un semplice esempio numerico:

consideriamo il modello lineare seguente:


$y_(j)=beta_(0)+beta_(1)x_(j)+ epsilon_(j)$ con $sum_(j)x_(j)=0$ e $j=1,2,3.$

in termini matriciali avremo:

$y=[ ( y_(1) ),( y_(2) ),( y_(3) ) ] $

$X=[ ( 1 , x_(1) ),(1 , x_(2)),( 1 , x_(3)) ] $

$beta=[ ( beta_(0) ),( beta_(1) ) ] $

calcoliamo quindi le quantità interessate alla stima dei parametri della retta:

$X'X=[ ( 3 , 0 ),( 0 , 3S_(X)^2 ) ] =3[ ( 1 , 0 ),( 0 , S_(X)^2 ) ] $

$(X'X)^(-1)=1/3[ ( 1 , 0 ),( 0 , 1/S_(X)^2 ) ] $

$X'y=[ ( 3bar(y) ),( 3S_(XY) ) ] $

per cui $beta=(X'X)^(-1)X'y$ viene

$hat(beta)=[ ( bar(y) ),( S_(XY)/S_(X)^2 ) ] $

[giofriz000]

Grazie ) mi hai chiarito un pò le idee