Interpretazione geometrica di autovalori e autovettori
Ciao Sergio, ad occhio dovrebbe essere molto simile a ciò che si fa con l'analisi in componenti principali. In sostanza hai p variabili invece che 2, con p>3: vuoi proiettare i tuoi punti su un sottospazio s dimensionale, con s<
Fammi sapere.
Ciao
Fammi sapere.
Ciao
Risposte
Ok. Entro domani ti posto i ragionamenti così ne discutiamo insieme.
Ciao
Ciao
Allora, spero di essere il più chiaro possibile e di non scrivere boiate dato che è un pò che non tratto l'aspetto matematico dell'ACP.
Suppioniamo di avere una matrice $X$ di dimensione $n\times p$ dove $n$ indica il numero di unità statistiche mentre $p$ il numero di variabili. Spesso si vuole cercare di cogliere affinità tra gli $n$ elementi creando dei cluster: a tal fine, man solo, sarebbe utile cercare di visualizzare questi $n$ punti in un piano in modo da avere già un'idea sul possibili affinità. Il problema è che soventemente il numero di variabili $p$ è maggiore di 3, quindi avere una rappresentazione grafica è difficile ma non impossibile: l'idea è quella di proiettare i punti su $s$ nuovi assi, con s<
Suppongo che gli $n$ punti abbiano massa unitaria (anche se spesso si suppone che abbiano massa uniforme, ma poco importa) ed chiamo $x_{i}$ il vettore che identifica l'iesima unità statistica nello spazio $R^{p}$ con origine il baricentro. Proietto i punti su una retta $f_{1}$, che sarà la nostra prima componente principale, che viene identificata dal versore $u_{1}$: l'angolo che $x_{i}$ e $u_{1}$ formano lo chiamo $\theta$ e la proiezione della iesima unità la identifico nel segmento $OH_{i}$. In particolare, sfruttando le proprietà dei triangoli rettangoli, abbiamo che
$OH_{i}=x_{i}^{'}\cdot u_{1}$
Tale ragionamento lo possiamo fare per tutti gli $n$ punti così da poter definire una matrice di proiezioni data da
$X\cdot u_{1}$
Rimane da capire come scegliere la retta $f_{1}$: quello che si fa è usare il metodo dei minimi quadrati, quindi si prende quella retta che minimizza i quadrati delle distanze dei punti dalla retta; questo però è equivalente, usando Pitagora, a massimizzare la quantità
$\sum_{i=1}^{n}OH_{i}^{2}=(Xu_{1})^{'}Xu_{1}=u_{1}^{'}X^{'}Xu_{1}$
In sostanza devo massimizzare $u_{1}^{'}X^{'}Xu_{1}$ con il vincolo che $u_{1}$ abbia norma unitaria: risolvo il tutto con i moltiplicatori di Lagrange, definendo la funzione
$F(u_{1})=u_{1}^{'}X^{'}Xu_{1}-a_{1}(u_{1}^{'}u_{1}-1)$
Derivo rispetto ad $u_{1}$, quindi avremo
$2X^{'}Xu_{1}-2a_{1}u_{1}=0$
quindi
$X^{'}Xu_{1}=a_{1}u_{1}$
Questo è un semplice problema agli autovalori, quindi dato che sto massimizzando avrò che $u_{1}$ non è altro che l'autovettore relativo al più grande autovalore della matrice $X^{'}X$. Definito $u_{1}$ ho trovato la prima componente principale
$f_{1}=Xu_{1}=V_{1}u_{11}+\ldots+V_{p}u_{1p}$
dove le $V_{i}$ sono le variabili iniziali e $u_{1i}$ è l'elemento iesimo del versore $u_{1}$. Quindi $f_{1}$ è ottenuta come combinazione lineare delle variabili di partenza ed ha la direzione del versore $u_{1}$.
Inoltre la sua norma al quadrato è
$||f_{1}||^{2}=u_{1}^{'}X^{'}Xu_{1}=a_{1}$
Per ora mi fermo qui, vedi se ti è tutto chiaro.
Il tuo problema mi sembra molto simile a questo, bisogna ragionarci un pò. Scusa se mi sono dilungato e per eventuali boiate.
Ciao
Suppioniamo di avere una matrice $X$ di dimensione $n\times p$ dove $n$ indica il numero di unità statistiche mentre $p$ il numero di variabili. Spesso si vuole cercare di cogliere affinità tra gli $n$ elementi creando dei cluster: a tal fine, man solo, sarebbe utile cercare di visualizzare questi $n$ punti in un piano in modo da avere già un'idea sul possibili affinità. Il problema è che soventemente il numero di variabili $p$ è maggiore di 3, quindi avere una rappresentazione grafica è difficile ma non impossibile: l'idea è quella di proiettare i punti su $s$ nuovi assi, con s<
Suppongo che gli $n$ punti abbiano massa unitaria (anche se spesso si suppone che abbiano massa uniforme, ma poco importa) ed chiamo $x_{i}$ il vettore che identifica l'iesima unità statistica nello spazio $R^{p}$ con origine il baricentro. Proietto i punti su una retta $f_{1}$, che sarà la nostra prima componente principale, che viene identificata dal versore $u_{1}$: l'angolo che $x_{i}$ e $u_{1}$ formano lo chiamo $\theta$ e la proiezione della iesima unità la identifico nel segmento $OH_{i}$. In particolare, sfruttando le proprietà dei triangoli rettangoli, abbiamo che
$OH_{i}=x_{i}^{'}\cdot u_{1}$
Tale ragionamento lo possiamo fare per tutti gli $n$ punti così da poter definire una matrice di proiezioni data da
$X\cdot u_{1}$
Rimane da capire come scegliere la retta $f_{1}$: quello che si fa è usare il metodo dei minimi quadrati, quindi si prende quella retta che minimizza i quadrati delle distanze dei punti dalla retta; questo però è equivalente, usando Pitagora, a massimizzare la quantità
$\sum_{i=1}^{n}OH_{i}^{2}=(Xu_{1})^{'}Xu_{1}=u_{1}^{'}X^{'}Xu_{1}$
In sostanza devo massimizzare $u_{1}^{'}X^{'}Xu_{1}$ con il vincolo che $u_{1}$ abbia norma unitaria: risolvo il tutto con i moltiplicatori di Lagrange, definendo la funzione
$F(u_{1})=u_{1}^{'}X^{'}Xu_{1}-a_{1}(u_{1}^{'}u_{1}-1)$
Derivo rispetto ad $u_{1}$, quindi avremo
$2X^{'}Xu_{1}-2a_{1}u_{1}=0$
quindi
$X^{'}Xu_{1}=a_{1}u_{1}$
Questo è un semplice problema agli autovalori, quindi dato che sto massimizzando avrò che $u_{1}$ non è altro che l'autovettore relativo al più grande autovalore della matrice $X^{'}X$. Definito $u_{1}$ ho trovato la prima componente principale
$f_{1}=Xu_{1}=V_{1}u_{11}+\ldots+V_{p}u_{1p}$
dove le $V_{i}$ sono le variabili iniziali e $u_{1i}$ è l'elemento iesimo del versore $u_{1}$. Quindi $f_{1}$ è ottenuta come combinazione lineare delle variabili di partenza ed ha la direzione del versore $u_{1}$.
Inoltre la sua norma al quadrato è
$||f_{1}||^{2}=u_{1}^{'}X^{'}Xu_{1}=a_{1}$
Per ora mi fermo qui, vedi se ti è tutto chiaro.
Il tuo problema mi sembra molto simile a questo, bisogna ragionarci un pò. Scusa se mi sono dilungato e per eventuali boiate.
Ciao
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo