Regressione Lineare Multipla

[valentinax89]

Ciao,

non riesco proprio a capire se sto calcolando esattamente la matrice X ...vi riporto il testo di seguito:

$Y_i = beta_1 + beta_2 * x_i + beta_3*(x_i -0,3)^2$ con $\epsilon_i ~ N(0,sigma^2)$ indipendenti $x_i = i/10$ $i=1,..,10, sigma^2>0$

b) Si scriva il modello nella forma matriciale...

Io farei così:

$[[y_1],[...],[y_10]]$ = $[[1,x_1,(x_1 -0,3)^2 ],[...,...,...],[1,x_10,(x_10 -0,3)^2]] * [[beta_1],[beta_2],[beta_3]] + [[epsilon_1],[...],[epsilon_10]]$

c) Si completi il vettore dei residui
$(0.011, 0.024, 0.027,?,0.007,-0.016,-0.047,0.012,-0.037,0.004)$ ... non capisco come fare? ci arrivo con qualche teorema?

Grazie in anticipo. Ciao

[valentinax89]

Grazie mille Sergio...ho un altro problema relativo allo stesso esercizio...

sapendo che :

$ X^TX=[[10,5.5,1.45],[5.5,3.38,1.21],[1.45,1.21,0.47]]$ $X^Ty = [21.40,13.57,4.03]$ $ (X^TX)^-1=[[0.78,-1.88,2.43],[-1.88,5.89,-9.35],[2.43,-9.35,18.69]]$

si ottenga la stima di massima verosimiglianza per $beta$ e $sigma^2$


Allora per $beta$ non ho alcun problema, invece per $sigma^2$ non saprei da dove cominicare .
Dalla teoria vedo che lo stimatore di massima verosimiglianza per $sigma^2 = sum_{n=1}^N (y_i-hat{y})^2/n$

...potresti indirizzarmi sulla strada giusta...vi ringrazio molto...ciao

[valentinax89]

Ho trovato questo :

...volendo stimare il parametro $sigma^2$, un naturale candidato sarebbe la varianza campionaria (fonte http://it.wikipedia.org/wiki/Regressione_lineare):

$hat(sigma^2) = (e^t*e )/ n $ perchè $e = (y_i- hat(y))$


Comuqnue non riesco a trovare il valore perchè non ho la matrice delle X...giusto?

[valentinax89]

Grazie...in ogni caso

Penso che devo per forza trovarla perchè dopo mi viene chiesto di calcolare l'intervallo di confidenza per $beta_3$ e quindi mi serve lo stimatore della varianza...scusate se vi stresso ma ho poco tempo per lo studio per via del lavoro...grazie comunque a tutti!!!!

[valentinax89]

Vorrei se è possibile un chiarimento sempre per quanto riguarda la regressione lineare multipla:

se mi viene chiesto di trovare la stima di massima verosimiglianza per ciascun parametro quindi $beta_1,beta_2,beta_3,sigma^2$ non devo passare per il modello matriciale, ma calcolare la log verosimiglinza fino ad arrivare ale derivate seconde giusto? Sempre comunque se sono valide le assunzioni del modello (quindi residui normali ecc.).

[valentinax89]

"Sergio":
Se è così, \( \sum(y-\hat{y})^2 \) non è altro che la somma dei quadrati dei residui, che già conosci e sai che sono \( n=10 \), nel senso che ne avevi nove e potevi calcolare il decimo.

Onestamente non ho capito molto cosa vuoi dire .
Potresti farmi chiarezza?

[valentinax89]

Caspita è vero !!! Grazie mille...

Se posso avrei un dubbio per un altro esercizo:

Mi viene chiesto: Si disegni il grafico dei valori stimati vs residui $(hat\(y_i) ; e_i)$ e lo si commenti:

Prima di tutto: $y_i,...,y_n$ sono v.c. normale indipendenti e

$\{(\mu= beta_1 -> i=1...4),(\mu= beta_2+beta_3 -> i=5..8),(\mu= beta_1+beta_2+beta_3 -> i=1..12):}$

Dopo avere trovato la forma matriciale e $(X^tX)^-1$...mi viene dato il vettore dei valori di $y_i =(1.16;2.09;1.49;0.32;1.99;2.1;2.08;4.42;14.69;-0.85;1.37;12.77)$ e quindi riesco a calcolare la stima dei $\beta_i$

$beta$ = $[[1.65],[1.05],[3.61]]$ $X$ = $[[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,1,0],[1,1,0],[1,1,0],[1,1,1],[1,1,1],[1,1,1],[1,1,1]]$...


Come faccio a disegnare un grafico (manualmente) dei residui? Quello che mi fa confusione è che non ho le x, o meglio valgono sempre 1...quindi i punti sono (1,1.16);(1,2.09) e così via..

Bo..non riesco proprio a capire quale ragionamento e strada devo seguire...

[valentinax89]

"valentinax89":a) il vettore y^ dei valori stimati è y^=Xβ^=X(X′X)−1X′y;
b) il vettore dei residui è: e=y−y^=y−Xβ^=y−X(X′X)−1X′y.

Grazie tutto molto chiaro!!! Scusa per la matrice ho dimenticato l'ultima riga
Grazie!!!