Problema dei minimi quadrati.

compa90
Buongiorno, ho il seguente problema, che riguarda il metodo dei minimi quadrati.

Siano ${(x_i,y_i)}$ con $i=0,....,m$, dati, ${phi_j(x)}$, con $j=0,....,n$, con $n
Problema
Il problema dei minimi quadrati consiste nel determina una funzione approssimante
$f_n(x)=\sum_{k=0}^nc_kphi_k(x)$
tale che l'errore residuo
$\epsilon=\sum_{i=0}^m(y_i-f_n(x_i))^2$
sia minimo.


Definizione
Data $A \in M_{m,n}(\mathbb{R})$ con $m>n$ e $b in mathbb(R)^m$ sia $c^{**} \in \mathbb(R)^n$ si dice soluzione nel senso dei minimi quadrati se
$|| Ac^{**}-b||_2^2 \le || Ac-b||_2^2 \quad \forall c in \mathbb(R)^n.$




Considero il vettore residuo $r_i=y_i-f_n(x_i)$ con $i=0,....,m$, allora il problema dei minimi quadrati lo posso formulare nel seguente modo
Determinare la soluzione nel senso dei minimi quadrati del seguente sistema
$Ac+r=y$
con $A \in M_{m,n}(\mathbb{R})$ , $c \in \mathbb(R)^n$, $ r,y in \mathbb(R)^m$, osservando che $a_{ij}=\phi_j(x_i)$, con $i=0,1,...,m, \ j=0,1,...,n$.

La seguente affermazione non mi è molto chiara
E' ovvio che se $m>n$ l'eventuale soluzione nel senso dei minimi quadrati non può dare che $r_i=0$ per ogni $i$.

Questo è vero perché: se suppongo che il sistema $Ac=y-r$ ammetta soluzioni nel senso dei minimi quadrati, e sia tale che $r_i=0$, cioè, $Ac^{**}=y$, ossia il vettore soluzione $c^{**}$ è tale da verificare
$y_i=f_n(x_i)=\sum_{k=0}^nc_k^{**}phi_k(x_i)$
per ogni $i$, questo significherebbe dire di aver determinato la soluzione esatta del sistema, ma questo, in linea di principio deve essere escluso, pertanto l'eventuale soluzione ottima non è quella che da il residuo nullo.
Giusto ?

Secondo dubbio: Con eventuale, si vuole intendere che un sistema siffatto ammette soluzioni se il vettore $y-r$ è combinazione lineare delle colonne di $A$.

Risposte
Quinzio
"compa90":

La seguente affermazione non mi è molto chiara
E' ovvio che se $m>n$ l'eventuale soluzione nel senso dei minimi quadrati non può dare che $r_i=0$ per ogni $i$.

Qui c'e' un errore.
Deve essere:
E' ovvio che se $n > m$ ... ecc...


In sostanza, se $n > m$ il sistema e' sovradimensionato e quindi riesci sempre a trovare la soluzione esatta e quindi il resto $r$ e' nullo.
Ovviamente la matrice $ A \in M_{m,n}(\mathbb{R}) $ dovra' avere rango $m$ e altrettanto ovviamente ci saranno $n-m$ colonne linearmente dipendenti.

Secondo dubbio: direi che l'eventuale non c'entra nulla, perche' si dimostra che il minimo di $\epsilon$ esiste sempre, quindi non c'e' nessun eventuale, la soluzione minima esiste sempre.

compa90
Ciao Quinzio, grazie per aver risposto, comunque ho controllato ed è come ho scritto, quindi dovrebbe essere un errore del testo.
Voglio specificare che $m$ è il numero di righe e $n$ è il numero di incognite.

Per il secondo dubbio allora perché dice eventuale, ha sbagliato anche qui ?

Quinzio
"compa90":
Ciao Quinzio, grazie per aver risposto, comunque ho controllato ed è come ho scritto, quindi dovrebbe essere un errore del testo.
Voglio specificare che $m$ è il numero di righe e $n$ è il numero di incognite.

Per il secondo dubbio allora perché dice eventuale, ha sbagliato anche qui ?


La soluzione esiste sempre.
Vedi anche qui Teorema 1.1
https://www.math.unipd.it/~alvise/CN/TE ... adrati.pdf

Non so perche' parla di eventuale soluzione.
Eventuale vuol dire che puo' esserci o non esserci.

compa90
Grazie Quinzio, seguirò la dispensa.

Rispondi
Per rispondere a questa discussione devi prima effettuare il login.