Punto critico $E^2 =>$ minimo?
Ciao, amici! Dato un polinomio di secondo grado in \(\boldsymbol{x}=(x_1,...,x_n)\) di tipo \((a_{11}x_1+...+a_{1n}x_n-b_1)^2+...+(a_{m1}x_1+...+a_{mn}x_n-b_m)^2=||A\boldsymbol{x}-\boldsymbol{b}||^2=E^2(\boldsymbol{x})\) (con $A=(a_{ij})\in M_{m,n}(RR)$ e \(\boldsymbol{b}=(b_1,...,b_m)\in\mathbb{R}^m\)) vorrei cercare di capire se, laddove il gradiente* \(\nabla E^2(\boldsymbol{x})=2 A^{\text{T}}A\boldsymbol{x}-2 A^{\text{T}} \boldsymbol{b}\) si annulla, si abbia sempre un minimo, come mi sembra di avere l'impressione...
Ho cercato di calcolarmi la hessiana, che mi sembra \(H_{E^2}(\boldsymbol{x})=2A^{\text{T}}A\), ma non riesco ad applicare il test basato su di essa: i minori principali dipendono dai coefficienti \(A_{(i)}^{\text{T}}A_{(j)}\) (chiamo $A_{(i)}$ l'i-esima colonna di $A$) di \(A^{\text{T}}A\)... Non so se ci siano modi alternativi per dimostrare che dove $\nabla E^2=\mathbf{0}$ si ha necessariamente un minimo (sempre che questo sia vero, come mi pare di intuire...)...
Qualcuno potrebbe essere così compassionevole da aiutarmi a chiarirmi le idee?
$+oo$ grazie a tutti!!!
*Come dato dal mio libro, G. Strang, Algebra lineare. $A^{\text{T}}$ è la trasposta di $A$. Per fornire il contesto $E$ è la norma del vettore degli errori in un problema ai minimi quadrati.
Ho cercato di calcolarmi la hessiana, che mi sembra \(H_{E^2}(\boldsymbol{x})=2A^{\text{T}}A\), ma non riesco ad applicare il test basato su di essa: i minori principali dipendono dai coefficienti \(A_{(i)}^{\text{T}}A_{(j)}\) (chiamo $A_{(i)}$ l'i-esima colonna di $A$) di \(A^{\text{T}}A\)... Non so se ci siano modi alternativi per dimostrare che dove $\nabla E^2=\mathbf{0}$ si ha necessariamente un minimo (sempre che questo sia vero, come mi pare di intuire...)...
Qualcuno potrebbe essere così compassionevole da aiutarmi a chiarirmi le idee?
$+oo$ grazie a tutti!!!
*Come dato dal mio libro, G. Strang, Algebra lineare. $A^{\text{T}}$ è la trasposta di $A$. Per fornire il contesto $E$ è la norma del vettore degli errori in un problema ai minimi quadrati.
Risposte
Se \(A\) è non singolare puoi usare il cambiamento di variabile \(x=A^{-1}y+A^{-1}b\), fai molto prima e in modo più trasparente. In questo caso comunque puoi anche usare il test della matrice Hessiana, basta osservare che \(A^TA\) è definita positiva (esercizio di algebra lineare che ti consiglio di risolvere).
Se invece \(A\) può essere singolare allora mi sa che devi usare un'altra strada. Io proverei a fare un discorso di convessità: se la funzione \(\lVert Ax-b\rVert^2\) è convessa allora i suoi punti critici sono per forza minimi.
Se invece \(A\) può essere singolare allora mi sa che devi usare un'altra strada. Io proverei a fare un discorso di convessità: se la funzione \(\lVert Ax-b\rVert^2\) è convessa allora i suoi punti critici sono per forza minimi.
Come ha già detto dissonance, la funzione \(\varphi(x) := \|Ax-b\|^2\) è convessa (ciò discende direttamente dalla convessità della norma al quadrato e dalla linearità dell'argomento); di conseguenza, ogni suo punto critico è un minimo.
$+oo$ grazie a tutti e due!!!
Direi che \(\forall A\in M_{m,n}(\mathbb{R})\text{ }q(\boldsymbol{x})=\boldsymbol{x}^{T}A^{T}A\boldsymbol{x}=\lVert A\boldsymbol{x}\rVert^2 \geq 0\) e \(q(\boldsymbol{x})=0\iff A\boldsymbol{x}=\mathbf{0}\). Se il rango è $r(A)=n$, dato che \(\dim(\ker A)=n-r\), allora \(A\boldsymbol{x}=\mathbf{0}\iff \boldsymbol{x}=\mathbf{0}\) e quindi \(\forall\boldsymbol{x}\ne\mathbf{0}\text{ }q(\boldsymbol{x})>0\)...
però si tratta della descrizione di un generico problema ai minimi quadrati, quindi il rango di $A$ non è necessariamente $n$...
Purtroppo non ho mai trovato alcuna trattazione, finora, di convessità per funzioni in $n>2$ variabili...
$\aleph_1$ grazie!
"dissonance":
puoi anche usare il test della matrice Hessiana, basta osservare che \(A^TA\) è definita positiva (esercizio di algebra lineare che ti consiglio di risolvere).
Direi che \(\forall A\in M_{m,n}(\mathbb{R})\text{ }q(\boldsymbol{x})=\boldsymbol{x}^{T}A^{T}A\boldsymbol{x}=\lVert A\boldsymbol{x}\rVert^2 \geq 0\) e \(q(\boldsymbol{x})=0\iff A\boldsymbol{x}=\mathbf{0}\). Se il rango è $r(A)=n$, dato che \(\dim(\ker A)=n-r\), allora \(A\boldsymbol{x}=\mathbf{0}\iff \boldsymbol{x}=\mathbf{0}\) e quindi \(\forall\boldsymbol{x}\ne\mathbf{0}\text{ }q(\boldsymbol{x})>0\)...
però si tratta della descrizione di un generico problema ai minimi quadrati, quindi il rango di $A$ non è necessariamente $n$...
"dissonance":
Io proverei a fare un discorso di convessità: se la funzione \(\lVert Ax-b\rVert^2\) è convessa allora i suoi punti critici sono per forza minimi.
Purtroppo non ho mai trovato alcuna trattazione, finora, di convessità per funzioni in $n>2$ variabili...
$\aleph_1$ grazie!
Per quanto riguarda la definitezza positiva, in generale hai solo le cose a metà, ossia \(A^T A\) è semidefinita positiva.
Infatti si ha:
\[
x^TA^TAx=\| Ax\|^2 \geq 0\; .
\]
Ciò è nella natura delle cose, come si dimostra prendendo \(A=\begin{pmatrix} 1 & 0 \\ 0 & 0\end{pmatrix}\).
Per quanto riguarda il resto, non è che ci sia molto da dire.
La convessità è definita sempre allo stesso modo, sia per due che per duemila variabili; e la proprietà cui alludeva Righello vale già per funzioni di una sola variabile.
Infatti si ha:
\[
x^TA^TAx=\| Ax\|^2 \geq 0\; .
\]
Ciò è nella natura delle cose, come si dimostra prendendo \(A=\begin{pmatrix} 1 & 0 \\ 0 & 0\end{pmatrix}\).
Per quanto riguarda il resto, non è che ci sia molto da dire.
La convessità è definita sempre allo stesso modo, sia per due che per duemila variabili; e la proprietà cui alludeva Righello vale già per funzioni di una sola variabile.
"gugo82":
La convessità è definita sempre allo stesso modo, sia per due che per duemila variabili; e la proprietà cui alludeva Righello vale già per funzioni di una sola variabile.
Grazie anche a te, Gugo!!!!
Per trattare la convessità in senso stretto di una funzione $f$ derivabile due volte* di due variabili il mio testo parla della positività (in senso lato credo si tratti di non-negatività) della derivata seconda di \(g(t)=f(x+th,y+tk)\) perché convessità significa di $f$ significa convessità di ogni restrizione di $f$ ad ogni retta come funzione di una variabile ...
Data una funzione \(f(\boldsymbol{x})\) con \(\boldsymbol{x}=(x_1,...,x_n)\in \mathbb{R}^n\) derivabile due volte direi che si debba dunque considerare la derivata seconda di \(g(t)=f(\boldsymbol{x}+t\boldsymbol{h})\), che con qualche calcoletto mi sembra sia \(g''(t)=\boldsymbol{h}^T H_f(\boldsymbol{x}+t\boldsymbol{h})\boldsymbol{h}\), forma quadratica associata alla hessiana $H_f$ che dunque, affinché $f$ sia convessa, direi debba essere semidefinita positiva. Questo è sufficiente ad assicurare che ogni punto critico sia un minimo?
Dal mio testo di analisi sapevo che, se la forma quadratica associata alla hessiana è semidefinita positiva in un punto, non può essere di massimo, ma solo di minimo o di sella... ragionando come si fa nel caso di funzioni di una variabile mi verrebbe da dire che si possa in realtà escludere anche il punto di sella (ma non il minimo non stretto)... o c'è una falla nelle cose che ho scritto?
Grazie di cuore di nuovo a tutti!!!!!
*Nel caso generale, di funzioni anche non derivabili due volte, direi quindi che, in analogia al caso di due o una variabile, la convessità sia definita dalla disuguaglianza \(\forall \boldsymbol{x}_1,\boldsymbol{x}_2\in\text{dom}(f),\forall\lambda\in(0,1) \text{ }f(\boldsymbol{x}_2+\lambda(\boldsymbol{x}_1-\boldsymbol{x}_2))\leq f(\boldsymbol{x}_1)+\lambda(f(\boldsymbol{x}_1)-f(\boldsymbol{x}_2))\), con disuguaglianza stretta per la convessità in senso stretto. Ho preferito divertirmi con hessiane e derivate, ma direi che equivalentemente si può dimostrare, come ha fatto notare Rigel, che
\(\lVert A(\boldsymbol{x}_2+\lambda(\boldsymbol{x}_1-\boldsymbol{x}_2))+\boldsymbol{b}\rVert^2\leq \lVert A\boldsymbol{x}_2+\boldsymbol{b}\rVert^2+\lambda\lVert A\boldsymbol{x}_1+\boldsymbol{b}\rVert^2-\lambda\lVert A\boldsymbol{x}_2+\boldsymbol{b}\rVert^2\)
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo