Somma quadrati degli scarti VS somma valore assoluto scarti
Salve!
Come da titolo, non saprei spiegarmi perché si ricorre alla somma dei quadrati degli scarti invece che alla somma dei valori assoluti degli scarti.
Avevo pensato che il valore assoluto darebbe dei problemi nel calcolare le derivate in alcuni contesti. Inoltre ho letto che la retta dei minimi quadrati passa nel baricentro dei punti.
Insomma, qual è la risposta completa ed esauriente a questo interrogativo?
Come da titolo, non saprei spiegarmi perché si ricorre alla somma dei quadrati degli scarti invece che alla somma dei valori assoluti degli scarti.
Avevo pensato che il valore assoluto darebbe dei problemi nel calcolare le derivate in alcuni contesti. Inoltre ho letto che la retta dei minimi quadrati passa nel baricentro dei punti.
Insomma, qual è la risposta completa ed esauriente a questo interrogativo?
Risposte
scusa ma se indichi con $\sigma^2$ la varianza, lo scarto quadratico non è dato da $\sigma=\sqrt{\sigma^2}$ e quindi è preso come valore sempre positivo? (prendi con le pinze ciò che ho detto, in quanto, per un motivo o per l'altro, ho sempre usato la varianza).
Credo che Arado90 domandasse perché si minimizza $sum(y_i-haty_i)^2=sumepsilon_i^2$ (dove $haty_i$ è il valore sulla retta di regressione), piuttosto che $sum|y_i-haty_i|=sum|epsilon_i|$.
Sicuramente per questioni di derivabilità; comunque nella illustrazione geometrica della formula dello stimatore dei minimi quadrati (in cui si lavora con vettori), si capisce bene il perché..
Sicuramente per questioni di derivabilità; comunque nella illustrazione geometrica della formula dello stimatore dei minimi quadrati (in cui si lavora con vettori), si capisce bene il perché..
"frapippo":
Credo che Arado90 domandasse perché si minimizza $sum(y_i-haty_i)^2=sumepsilon_i^2$ (dove $haty_i$ è il valore sulla retta di regressione), piuttosto che $sum|y_i-haty_i|=sum|epsilon_i|$.
Sicuramente per questioni di derivabilità; comunque nella illustrazione geometrica della formula dello stimatore dei minimi quadrati (in cui si lavora con vettori), si capisce bene il perché..
Esatto, era proprio quella la questione!
Grazie della risposta!
Proprio per questioni di derivabilità. Si dimostra poi che lo stimatore a minimi quadrati è non distorto e a varianza minima fra tutti gli stimatori lineari non distorti. Quindi Il metodo dei minimi quadrati è senz'altro un buon metodo. Non si fanno inoltre ipotesi sulla distribuzione di probabilità degli errori.
E poi la stima ai minimi quadrati è equivalente alla stima alla massima verosimiglianza assumendo rumore gaussiano sui dati.
Un'ulteriore motivazione molto informale è che semplicemente con la stima ai minimi quadrati diamo poco peso agli errori piccoli rispetto agli errori grandi che è solitamente ciò che vogliamo, a meno che non siano presenti degli outlier nei dati, ma in questo caso andrebbe prima comunque eseguita una procedura di rimozione degli outlier.
Comunque forse i motivi per cui viene scelto sono più pratici che teorici: è uno stimatore che dà buoni risultati rimanendo soprattutto solitamente calcolabile in maniera efficiente.
Un'ulteriore motivazione molto informale è che semplicemente con la stima ai minimi quadrati diamo poco peso agli errori piccoli rispetto agli errori grandi che è solitamente ciò che vogliamo, a meno che non siano presenti degli outlier nei dati, ma in questo caso andrebbe prima comunque eseguita una procedura di rimozione degli outlier.
Comunque forse i motivi per cui viene scelto sono più pratici che teorici: è uno stimatore che dà buoni risultati rimanendo soprattutto solitamente calcolabile in maniera efficiente.
Grazie a tutti 
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo