Aiuto esercizio su classificazione (BAYES)
ciao ragazzi,
mi serve il vostro aiuto.
oggi ho fatto un esame e c'era il seguente esercizio....
potreste aiutarmi a risolverlo:
1)
Siano P(x|w1) e P(x|w2) le likelihood che descrivono la probabilità di osservare un punto x€R data la
conoscenza sulla classe di appartenenza. Siano P(w1) e P(w2) le probabilità a priori di appartenenza di un
punto x ad una delle due classi w1 e w2. Scrivere le formule di Bayes utili a derivare la probabilità (a
posteriori) di appartenenza di un punto x a ciacuna delle due classi w1 e w2.
2)
Siano P(x|w1) e P(x|w2) due distribuzioni gaussiane unidimensionali di media rispettivamente μ1=0 e μ2=4 e
aventi varianza (σ1)2=(σ2)2=1. Siano P(w1)=P(w2)=0.5. Utilizzare un classificatore MAP (Maximum a Posteriori)
per stabilire, utilizzando le probabilità a posteriori P(x|w1) e P(x|w2), la classe di appartenenza del punto
reale x=10 e del punto x=1.
grazie per il vostro aiuto.
mi serve il vostro aiuto.
oggi ho fatto un esame e c'era il seguente esercizio....
potreste aiutarmi a risolverlo:
1)
Siano P(x|w1) e P(x|w2) le likelihood che descrivono la probabilità di osservare un punto x€R data la
conoscenza sulla classe di appartenenza. Siano P(w1) e P(w2) le probabilità a priori di appartenenza di un
punto x ad una delle due classi w1 e w2. Scrivere le formule di Bayes utili a derivare la probabilità (a
posteriori) di appartenenza di un punto x a ciacuna delle due classi w1 e w2.
2)
Siano P(x|w1) e P(x|w2) due distribuzioni gaussiane unidimensionali di media rispettivamente μ1=0 e μ2=4 e
aventi varianza (σ1)2=(σ2)2=1. Siano P(w1)=P(w2)=0.5. Utilizzare un classificatore MAP (Maximum a Posteriori)
per stabilire, utilizzando le probabilità a posteriori P(x|w1) e P(x|w2), la classe di appartenenza del punto
reale x=10 e del punto x=1.
grazie per il vostro aiuto.
Risposte
OGGETTO: PROBABILITA' A POSTERIORI E TEOREMA DI BAYES
L'esercizio 1 non richiede nessuna elaborazione concettuale.
Si vede che non hai mai aperto il libro al paragrafo: Probabilità condizionate e Teorema di Bayes.
Questo teorema ti dà la risposta (basta solo copiarlo dal testo) al seguente quesito:
Avendo osservato il punto x, qual è la probabilità che sia w1 (o w2) la sua classe di provenienza ?
P(w1 | x) = P(w1)P(x|w1) / [ P(w1)P(x|w1) + P(w2)P(x|w2) ]
Idem per w2, previo scambio di w1 con w2. FINE
Il testo dell'esercizio N. 2 contiene un errore (forse tu hai copiato male il testo).
Il testo corretto del PENULTIMO RIGO dovrebbe essere:
ERRATA: ....... le probabilità a posteriori P(x|w1) e P(x|w2) ... etc.
CORRIGE: ....... le probabilità a posteriori P(w1|x) e P(w2|x) ... etc.
Se le cose non stanno così come penso (eventualmente, se il testo era veramente così, senti anche i tuoi prof) , allora non so che altro aggiungere. Se invece ho ragione, allora ti posso aiutare a fare anche questo secondo esercizio.
Vatti comunque SUBITO A STUDIARE le probabilità condizionate e il relativo teorema di Bayes, PIGRO!!!
Se no, il mio aiuto non può farti che male.
L'esercizio 1 non richiede nessuna elaborazione concettuale.
Si vede che non hai mai aperto il libro al paragrafo: Probabilità condizionate e Teorema di Bayes.
Questo teorema ti dà la risposta (basta solo copiarlo dal testo) al seguente quesito:
Avendo osservato il punto x, qual è la probabilità che sia w1 (o w2) la sua classe di provenienza ?
P(w1 | x) = P(w1)P(x|w1) / [ P(w1)P(x|w1) + P(w2)P(x|w2) ]
Idem per w2, previo scambio di w1 con w2. FINE
Il testo dell'esercizio N. 2 contiene un errore (forse tu hai copiato male il testo).
Il testo corretto del PENULTIMO RIGO dovrebbe essere:
ERRATA: ....... le probabilità a posteriori P(x|w1) e P(x|w2) ... etc.
CORRIGE: ....... le probabilità a posteriori P(w1|x) e P(w2|x) ... etc.
Se le cose non stanno così come penso (eventualmente, se il testo era veramente così, senti anche i tuoi prof) , allora non so che altro aggiungere. Se invece ho ragione, allora ti posso aiutare a fare anche questo secondo esercizio.
Vatti comunque SUBITO A STUDIARE le probabilità condizionate e il relativo teorema di Bayes, PIGRO!!!
Se no, il mio aiuto non può farti che male.
si hai ragoine c'è un errore nel testo...
è come hai scritto tu...
si è vero...devo studiarla un pò di più...
mi potresti comunque aiutare anche con questo esercizio...
grazie davvero.
è come hai scritto tu...
si è vero...devo studiarla un pò di più...
mi potresti comunque aiutare anche con questo esercizio...
grazie davvero.
[quote=buruliddu]si hai ragoine c'è un errore nel testo...è come hai scritto tu...
mi potresti comunque aiutare anche con questo esercizio... grazie davvero.
===================================================
Certo!
Cominciamo con uno dei casi: x = 10.
Come rispettive verosimiglianze usiamo il valore delle due diverse gaussiane in x=10.
Dato che le 2 varianze sono uguali, è inutile includere il fattore $1/(sqrt(2\pi)\sigma)
Gaussiana 1: $z=(x-\mu)/\sigma = (10-0)/1 = 10;
P(x|w1) = $exp(-(z^2)/2)= exp(-100/2)=exp(-50)
Gaussiana 2: $z=(x-\mu)/\sigma = (10-4)/1 = 6;
P(x|w2) = $exp(-(z^2)/2)= exp(-36/2)=exp(-18)
Possiamo ora applicare la formula scritta per l'esercizio 1, omettendo fin d'ora le P(w1) e P(w2) dato che, essendo supposte uguali, si elidono. Si ha quindi:
P(w1|x=10) = $(exp(-50))/(exp(-50) + exp(-18)) = 1/(1+exp(32)) , probab. che è quasi 0
P(w2|x=10) = $(exp(-18))/(exp(-50) + exp(-18)) = 1/(1+exp(-32)), probab. che è quasi 1
Bene. Quelle appena calcolate sono le "probabilità a posteriori" molto diverse fra loro,
mentre quelle a priori, P(w1) e P(w2) si erano assunte uguali e pari quindi al 50%.
Il criterio MAP, che si basa sulla scelta della massima fra le prob. a posteriori, indica nettamente la seconda delle due alternative. E quali erano le due alternative in questione?
Quale delle due gaussiane è la gaussiana che ha generato il numero x=10?
Chiaramente propenderemo in modo schiacciante per la seconda alternativa, cioè diremo che con tutta probabilitò il numero x=10 scaturiva da una variabile aleatoria gaussiana con \mu=4 e \sigma=1, piuttosto che dall'altra che ha media \mu=0 e \sigma=1.
Tutto questo movimento per arrivare ad una conclusione che era ovvia fin dapprincipio. Il classico elefante per schiacciare un topolino, o il colpo di cannone per ammazzare una mosca!
Prova ora a fare tu il secondo esercizio, quello con x=1. Chiaramente qui ci aspettiamo che sia l'altra gaussiana quella da cui proviene tale punto x=1. Infatti x=1 è a distanza di un \sigma dalla media \mu=0 mentre dista ben 3\sigma dalla media dell'altra gaussiana.
mi potresti comunque aiutare anche con questo esercizio... grazie davvero.
===================================================
Certo!
Cominciamo con uno dei casi: x = 10.
Come rispettive verosimiglianze usiamo il valore delle due diverse gaussiane in x=10.
Dato che le 2 varianze sono uguali, è inutile includere il fattore $1/(sqrt(2\pi)\sigma)
Gaussiana 1: $z=(x-\mu)/\sigma = (10-0)/1 = 10;
P(x|w1) = $exp(-(z^2)/2)= exp(-100/2)=exp(-50)
Gaussiana 2: $z=(x-\mu)/\sigma = (10-4)/1 = 6;
P(x|w2) = $exp(-(z^2)/2)= exp(-36/2)=exp(-18)
Possiamo ora applicare la formula scritta per l'esercizio 1, omettendo fin d'ora le P(w1) e P(w2) dato che, essendo supposte uguali, si elidono. Si ha quindi:
P(w1|x=10) = $(exp(-50))/(exp(-50) + exp(-18)) = 1/(1+exp(32)) , probab. che è quasi 0
P(w2|x=10) = $(exp(-18))/(exp(-50) + exp(-18)) = 1/(1+exp(-32)), probab. che è quasi 1
Bene. Quelle appena calcolate sono le "probabilità a posteriori" molto diverse fra loro,
mentre quelle a priori, P(w1) e P(w2) si erano assunte uguali e pari quindi al 50%.
Il criterio MAP, che si basa sulla scelta della massima fra le prob. a posteriori, indica nettamente la seconda delle due alternative. E quali erano le due alternative in questione?
Quale delle due gaussiane è la gaussiana che ha generato il numero x=10?
Chiaramente propenderemo in modo schiacciante per la seconda alternativa, cioè diremo che con tutta probabilitò il numero x=10 scaturiva da una variabile aleatoria gaussiana con \mu=4 e \sigma=1, piuttosto che dall'altra che ha media \mu=0 e \sigma=1.
Tutto questo movimento per arrivare ad una conclusione che era ovvia fin dapprincipio. Il classico elefante per schiacciare un topolino, o il colpo di cannone per ammazzare una mosca!
Prova ora a fare tu il secondo esercizio, quello con x=1. Chiaramente qui ci aspettiamo che sia l'altra gaussiana quella da cui proviene tale punto x=1. Infatti x=1 è a distanza di un \sigma dalla media \mu=0 mentre dista ben 3\sigma dalla media dell'altra gaussiana.
grazie sei un grande...
ok questi primi due me li hai spiegati molto bene, grazie...
adesso, senza però voler approfittare della tua gentilezza, ne avevo altri da mostrarti...
1)
Indichiamo con fi la componente i-esima dei vettori che vivono nello spazio F.
Quali componenti la PCA considererà meno importanti se f1, f2, f3, f4 hanno distribuzione gaussiana
rispettivamente di media e varianza
(μ1=1.5, σ(al quadrato)1=1.5), (μ2=0, σ(al quadrato)2=1.5), (μ3=3, σ(al quadrato)3=1.7), (μ4=1, σ(al quadrato)4=0.5)
e gli altri elementi della matrice di covarianza sono piccoli?
Motivare la risposta.
2)
Disegnare la gerarchia generata dall’esecuzione di un clustering gerarchico sui seguenti punti:
{(10,1) , (3,2), (7,4), (9,1), (1,3), (8,7) (5,2)}
Criterio di stop: L’algoritmo si ferma quando ha prodotto 3 cluster.
Specificare la misura di similarità che è stata utilizzata (Single linkage, Average linkage, Complete linkage).
3)
Stimare l’errore commesso da un classificatore che durante la fase di testing ha prodotto la seguente
matrice di confusione
Classe A Classe B
Classe A 175 25
Classe B 100 300
potrestri aiutarmi...
grazie comunque.
ciao
adesso, senza però voler approfittare della tua gentilezza, ne avevo altri da mostrarti...
1)
Indichiamo con fi la componente i-esima dei vettori che vivono nello spazio F.
Quali componenti la PCA considererà meno importanti se f1, f2, f3, f4 hanno distribuzione gaussiana
rispettivamente di media e varianza
(μ1=1.5, σ(al quadrato)1=1.5), (μ2=0, σ(al quadrato)2=1.5), (μ3=3, σ(al quadrato)3=1.7), (μ4=1, σ(al quadrato)4=0.5)
e gli altri elementi della matrice di covarianza sono piccoli?
Motivare la risposta.
2)
Disegnare la gerarchia generata dall’esecuzione di un clustering gerarchico sui seguenti punti:
{(10,1) , (3,2), (7,4), (9,1), (1,3), (8,7) (5,2)}
Criterio di stop: L’algoritmo si ferma quando ha prodotto 3 cluster.
Specificare la misura di similarità che è stata utilizzata (Single linkage, Average linkage, Complete linkage).
3)
Stimare l’errore commesso da un classificatore che durante la fase di testing ha prodotto la seguente
matrice di confusione
Classe A Classe B
Classe A 175 25
Classe B 100 300
potrestri aiutarmi...
grazie comunque.
ciao
Ieri Enzo é stato bandito da questo forum.
"seascoli":
Ieri Enzo é stato bandito da questo forum.
ma perchè...mi era stato di grande aiuto...
qualcun'altro potrebbe aiutarmi?
grazie
Non credo ci sia a questo punto qualcuno che possa aiutarti.
Il livello del tuo esercizio è così elevato e il tenore così tecnico (PCA=principal component analysis, credo, e poi "misura di similarità: Average linkage, etc.", e vedi più oltre termini come "Classificatore", "Testing" e Matrice di "con-fusione") che non tutti sono in grado, non dico di rispondere al tuo quesito, ma di capire per lo meno di che si tratta.
Auguri, cmq, ma temo che dovrai fare da solo.
Il livello del tuo esercizio è così elevato e il tenore così tecnico (PCA=principal component analysis, credo, e poi "misura di similarità: Average linkage, etc.", e vedi più oltre termini come "Classificatore", "Testing" e Matrice di "con-fusione") che non tutti sono in grado, non dico di rispondere al tuo quesito, ma di capire per lo meno di che si tratta.
Auguri, cmq, ma temo che dovrai fare da solo.
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo