Aggiunta Regressori Modello di Regressione Multipla

Anselm_Eibenschutz
Ho letto da più parti che l'aggiunta di regressori a un modello di regressione lineare multipla aumenta inevitabilmente la bontà del fitting.
Tuttavia, non riesco a cogliere appieno la portata della questione e non è facile trovare approfondimenti (es. dimostrazioni). Qualcuno sarebbe in grado di esplicare meglio il concetto?

Grazie,

Risposte
Anselm_Eibenschutz
Non ho trovato una dimostrazione alla mia portata, tuttavia grazie alla tua dritta ho indagato la questione del coefficiente corretto e credo di aver intuito la portata del concetto attraverso i gradi di libertà.

Premesso che $R^2$ è inversamente proporzionale ai gradi di libertà*, man mano che questi diminuiscono con l'aggiunta di regressori**, ecco che $R^2$ aumenta.

*$R^2$ è inversamente proporzionale ai gradi di libertà perchè un basso grado di libertà irrigidisce il modello. Ad esempio, per $2$ punti/osservazioni non allineate (che corrispondono a $1$ grado di libertà) passa una e una sola retta, perciò $R^2$ sarà $1$. Aggiungendo un punto/osservazione, avrò $2$ gradi libertà ma un coefficiente $R^2$ che diminuisce.
**Per comprendere come i gradi di libertà diminuiscano con l'aggiunta di regressori, basti pensare al passaggio dal modello di regressione semplice ( retta) al multiplo con $2$ variabili $x$ (piano). Poichè per $3$ punti passa uno e un solo piano, con $3$ punti avrò ora $1$ solo grado di libertà, con un $R^2 = 1$

Rispondi
Per rispondere a questa discussione devi prima effettuare il login.