Aggiunta Regressori Modello di Regressione Multipla
Ho letto da più parti che l'aggiunta di regressori a un modello di regressione lineare multipla aumenta inevitabilmente la bontà del fitting.
Tuttavia, non riesco a cogliere appieno la portata della questione e non è facile trovare approfondimenti (es. dimostrazioni). Qualcuno sarebbe in grado di esplicare meglio il concetto?
Grazie,
Tuttavia, non riesco a cogliere appieno la portata della questione e non è facile trovare approfondimenti (es. dimostrazioni). Qualcuno sarebbe in grado di esplicare meglio il concetto?
Grazie,
Risposte
Non ho trovato una dimostrazione alla mia portata, tuttavia grazie alla tua dritta ho indagato la questione del coefficiente corretto e credo di aver intuito la portata del concetto attraverso i gradi di libertà.
Premesso che $R^2$ è inversamente proporzionale ai gradi di libertà*, man mano che questi diminuiscono con l'aggiunta di regressori**, ecco che $R^2$ aumenta.
*$R^2$ è inversamente proporzionale ai gradi di libertà perchè un basso grado di libertà irrigidisce il modello. Ad esempio, per $2$ punti/osservazioni non allineate (che corrispondono a $1$ grado di libertà) passa una e una sola retta, perciò $R^2$ sarà $1$. Aggiungendo un punto/osservazione, avrò $2$ gradi libertà ma un coefficiente $R^2$ che diminuisce.
**Per comprendere come i gradi di libertà diminuiscano con l'aggiunta di regressori, basti pensare al passaggio dal modello di regressione semplice ( retta) al multiplo con $2$ variabili $x$ (piano). Poichè per $3$ punti passa uno e un solo piano, con $3$ punti avrò ora $1$ solo grado di libertà, con un $R^2 = 1$
Premesso che $R^2$ è inversamente proporzionale ai gradi di libertà*, man mano che questi diminuiscono con l'aggiunta di regressori**, ecco che $R^2$ aumenta.
*$R^2$ è inversamente proporzionale ai gradi di libertà perchè un basso grado di libertà irrigidisce il modello. Ad esempio, per $2$ punti/osservazioni non allineate (che corrispondono a $1$ grado di libertà) passa una e una sola retta, perciò $R^2$ sarà $1$. Aggiungendo un punto/osservazione, avrò $2$ gradi libertà ma un coefficiente $R^2$ che diminuisce.
**Per comprendere come i gradi di libertà diminuiscano con l'aggiunta di regressori, basti pensare al passaggio dal modello di regressione semplice ( retta) al multiplo con $2$ variabili $x$ (piano). Poichè per $3$ punti passa uno e un solo piano, con $3$ punti avrò ora $1$ solo grado di libertà, con un $R^2 = 1$