Esercizio sulla mutua informazione
"Si disponga di due dadi a 6 facce: uno normale con le facce da 1 a 6 e uno con le facce da 1 a 3, ovvero un dado dove ciascun numero 1, 2 e 3 compare su due facce.
Si scelga casualmente uno dei due dadi e lo si lanci due volte consecutive.
Considerando $D$ (dado scelto) e $P$ (numero di facce con numero pari uscite nei due lanci), calcolare $I(D;P)$."
So che la mutua informazione è:
$I(X;Y)=\sum_x \sum_y p(x,y) \log \frac{p(x,y)}{p(x)p(y)} = H(X)-H(X|Y) = H(Y)-H(Y|X)$
ma non come applicarla al problema.
Posso scrivere $D$ come:
\begin{pmatrix}
dado1 & dado2\\
\frac{1}{2} & \frac{1}{2}
\end{pmatrix}
E ora come procedo?
Grazie infinite
Si scelga casualmente uno dei due dadi e lo si lanci due volte consecutive.
Considerando $D$ (dado scelto) e $P$ (numero di facce con numero pari uscite nei due lanci), calcolare $I(D;P)$."
So che la mutua informazione è:
$I(X;Y)=\sum_x \sum_y p(x,y) \log \frac{p(x,y)}{p(x)p(y)} = H(X)-H(X|Y) = H(Y)-H(Y|X)$
ma non come applicarla al problema.
Posso scrivere $D$ come:
\begin{pmatrix}
dado1 & dado2\\
\frac{1}{2} & \frac{1}{2}
\end{pmatrix}
E ora come procedo?
Grazie infinite
Risposte
Non mi sembra complicato.
Dalla seguente tabella ricavi sia le probabilità congiunte che marginali.
Ora non ti resta che applicare la formula.
ciao
Dalla seguente tabella ricavi sia le probabilità congiunte che marginali.
Ora non ti resta che applicare la formula.
ciao
Ciao, grazie per la risposta. Potresti dirmi come hai ottenuto quei valori? Scusa ma io e la statistica/probabilità non andiamo per nulla d'accordo.
E' una tabella a doppia entrata dove nell'ultima riga e colonna si leggono le distribuzioni marginali. Una è quella che hai identificato anche tu....la probabilità di scegliere fra dado equo e non equo è sempre $1/2$
all'interno della tabella vi sono le probabilità congiunte che vanno calcolate una per una con la formula $P(A nn B)=P(A)P(B|A)$, dato che gli eventi non sono indipendenti
Ad esempio: probabilità di scegliere il dado non equo e contemporaneamente di avere un numero pari su due lanci è:
$1/2\cdot((2),(1))\cdot2/6\cdot4/6=2/9$
ecc ecc
poi ho espresso tutto con un denominatore comune per facilitare la lettura della tabella
spero sia chiaro
all'interno della tabella vi sono le probabilità congiunte che vanno calcolate una per una con la formula $P(A nn B)=P(A)P(B|A)$, dato che gli eventi non sono indipendenti
Ad esempio: probabilità di scegliere il dado non equo e contemporaneamente di avere un numero pari su due lanci è:
$1/2\cdot((2),(1))\cdot2/6\cdot4/6=2/9$
ecc ecc
poi ho espresso tutto con un denominatore comune per facilitare la lettura della tabella
spero sia chiaro
"tommik":
E' una tabella a doppia entrata dove nell'ultima riga e colonna si leggono le distribuzioni marginali. Una è quella che hai identificato anche tu....la probabilità di scegliere fra dado equo e non equo è sempre $1/2$
all'interno della tabella vi sono le probabilità congiunte che vanno calcolate una per una con la formula $P(A nn B)=P(A)P(B|A)$, dato che gli eventi non sono indipendenti
Ad esempio: probabilità di scegliere il dado non equo e contemporaneamente di avere un numero pari su due lanci è:
$1/2\cdot((2),(1))\cdot2/6\cdot4/6=2/9$
ecc ecc
poi ho espresso tutto con un denominatore comune per facilitare la lettura della tabella
spero sia chiaro
Mmmh non ancora
In quel caso hai usato la formula $P(A nn B)=P(A)P(B|A)$ per trovare $P(D=non equo nn B=1)=P(D=non equo)P(B=1|D=non equo)$ e suppongo che $1/2$ sia $P(D)$ mentre gli altri termini ($((2),(1))$,$2/6$,$4/6$) cosa rappresentano?
Grazie
Rappresentano la probabilità di k successi su n prove. Nel caso specifico la probabilità di avere un Pari su due lanci con il dado non equo (P=pari; O=dispari)
PO +OP=$2/6 4/6+ 4/6 2/6=4/9$
Io ho usato la distribuzione binomiale
$ P (X=k)=((n), (k)) p^k (1-p)^(n-k) $
ma puoi farlo anche così.
PO +OP=$2/6 4/6+ 4/6 2/6=4/9$
Io ho usato la distribuzione binomiale
$ P (X=k)=((n), (k)) p^k (1-p)^(n-k) $
ma puoi farlo anche così.
Seguendo il tuo ragionamento ho provato a calcolare:
$P(D=non equo, P=0) = P(D=non equo)P(D=non equo | P = 0) = (1/2)\cdot(OO + OO) = (1/2)\cdot(2OO) = OO = (4/6)\cdot(4/6) = 4/9 \ne 16/72$
Dove sto sbagliando?
$P(D=non equo, P=0) = P(D=non equo)P(D=non equo | P = 0) = (1/2)\cdot(OO + OO) = (1/2)\cdot(2OO) = OO = (4/6)\cdot(4/6) = 4/9 \ne 16/72$
Dove sto sbagliando?
$1/2 4/6 4/6=2/9=16/72$
essendoci 2 dispari su due lanci è un unico caso, non va moltiplicato per due. Basta pensare a tutti i casi possibili. Lanciando il dado due volte puoi ottenere solo 4 casi
OO
OP
PO
PP
tra l'altro tutti equiprobabili, nel caso di dado equo.
essendoci 2 dispari su due lanci è un unico caso, non va moltiplicato per due. Basta pensare a tutti i casi possibili. Lanciando il dado due volte puoi ottenere solo 4 casi
OO
OP
PO
PP
tra l'altro tutti equiprobabili, nel caso di dado equo.
Giusto, era facile da capire.
Ultima cosa (spero). Ho completato la tabella e ora devo trovare la mutua informazione.
Volendo usare la formula:
$ I(D;P) = H(P)-H(P|D) $
So che $H(P)=-25/72 \log_2(25/72) - 17/36 \log_2(17/36)-13/72 \log_2(13/72) \cong 1.486 $
Mentre per trovare $H(P|D)$? Arrivo a questo punto e poi mi blocco:
$H(P|D)=\sum_d p(D) H(P|D=d) = $
E adesso?
Grazie mille per l'aiuto che mi stai dando
Ultima cosa (spero). Ho completato la tabella e ora devo trovare la mutua informazione.
Volendo usare la formula:
$ I(D;P) = H(P)-H(P|D) $
So che $H(P)=-25/72 \log_2(25/72) - 17/36 \log_2(17/36)-13/72 \log_2(13/72) \cong 1.486 $
Mentre per trovare $H(P|D)$? Arrivo a questo punto e poi mi blocco:
$H(P|D)=\sum_d p(D) H(P|D=d) = $
E adesso?
Grazie mille per l'aiuto che mi stai dando
"stefano86":
Volendo usare la formula:
$ I(D;P) = H(P)-H(P|D) $
La mutua informazione si può calcolare con entrambe le formule.
Questa non è molto diversa dall'altra; per calcolare l'entropia condizionale devi calcolare la distribuzione condizionata; se hai capito come calcolare la congiunta non dovresti avere problemi in questa. Altrimenti puoi consultare qualunque testo elementare di Statistica dove trovi tutto spiegato nei dettagli.
"stefano86":
...Scusa ma io e la statistica/probabilità non andiamo per nulla d'accordo.
magari con un bel ripasso fate pace!
ciao
Penso di aver risolto l'esercizio.
$I(D;P) = H(D)-H(D|P)$
$H(D)=1$
$H(D|P) = Pr(P=0)H(D|P=0) + Pr(P=1)H(D|P=1) + Pr(P=2)H(D|P=2)$
$H(D|P=0) = -P(D=e | P=0) \logP(D=e | P=0) -P(D=non | P=0) \logP(D=non | P=0) = -1/8 \log(1/8)-2/9 \log (2/9) \cong 0.857$
$H(D|P=1) = -P(D=e | P=1) \logP(D=e | P=1) -P(D=non | P=1) \logP(D=non | P=1) = -1/4 \log(1/4)-2/9 \log (2/9) \cong 0.982$
$H(D|P=2) = -P(D=e | P=2) \logP(D=e | P=2) -P(D=non | P=2) \logP(D=non | P=2) = -1/8 \log(1/8)-1/18 \log (1/18) \cong 0.606$
quindi
$H(D|P) = Pr(P=0)0.857 + Pr(P=1)0.982 + Pr(P=2)0.606 = 25/72 * 0.857 + 16/72 * 0.982 + 13/72 * 0.606 \cong 0.870 $
ed infine
$I(D;P) = H(D)-H(D|P) = 1- 0.870 = 0.13$
Potrebbe essere giusto? Ovviamente avrei ottenuto lo stesso risultato usando la formula $I(D;P) = H(P)-H(P|D)$
$I(D;P) = H(D)-H(D|P)$
$H(D)=1$
$H(D|P) = Pr(P=0)H(D|P=0) + Pr(P=1)H(D|P=1) + Pr(P=2)H(D|P=2)$
$H(D|P=0) = -P(D=e | P=0) \logP(D=e | P=0) -P(D=non | P=0) \logP(D=non | P=0) = -1/8 \log(1/8)-2/9 \log (2/9) \cong 0.857$
$H(D|P=1) = -P(D=e | P=1) \logP(D=e | P=1) -P(D=non | P=1) \logP(D=non | P=1) = -1/4 \log(1/4)-2/9 \log (2/9) \cong 0.982$
$H(D|P=2) = -P(D=e | P=2) \logP(D=e | P=2) -P(D=non | P=2) \logP(D=non | P=2) = -1/8 \log(1/8)-1/18 \log (1/18) \cong 0.606$
quindi
$H(D|P) = Pr(P=0)0.857 + Pr(P=1)0.982 + Pr(P=2)0.606 = 25/72 * 0.857 + 16/72 * 0.982 + 13/72 * 0.606 \cong 0.870 $
ed infine
$I(D;P) = H(D)-H(D|P) = 1- 0.870 = 0.13$
Potrebbe essere giusto? Ovviamente avrei ottenuto lo stesso risultato usando la formula $I(D;P) = H(P)-H(P|D)$
no, non mi torna per nulla.
la mutua informazione si può calcolare così (uso la tua formula del primo post)
$I(X,Y)=sum_(x)sum_(y)p(x,y)log_(2)[(p(x,y))/(p(x)p(y))]$
utlizzando la tabella che ti ho spiegato, il calcolo di $I(D,P)$ viene fuori in 2 secondi e mezzo ed è il seguente:
$I(D,P)=0,04$
se proprio non ti piace allora utilizziamo l'altra formula
$I(D,P)=H(D)-H(D|P)$
$H(D|P)=H(D,P)-H(P)$
Ora, considerando anche che
$H(X)=-sum_(x)p(x)log_(2)p(x)$
$H(X,Y)=sum_(x)sum_(y)p(x,y)log_(2)(1/(p(x,y)))$
con la stessa facilità costruisco le ulteriori tabelle ottenendo lo stesso risultato per la mutua informazione
la mutua informazione si può calcolare così (uso la tua formula del primo post)
$I(X,Y)=sum_(x)sum_(y)p(x,y)log_(2)[(p(x,y))/(p(x)p(y))]$
utlizzando la tabella che ti ho spiegato, il calcolo di $I(D,P)$ viene fuori in 2 secondi e mezzo ed è il seguente:
$I(D,P)=0,04$
se proprio non ti piace allora utilizziamo l'altra formula
$I(D,P)=H(D)-H(D|P)$
$H(D|P)=H(D,P)-H(P)$
Ora, considerando anche che
$H(X)=-sum_(x)p(x)log_(2)p(x)$
$H(X,Y)=sum_(x)sum_(y)p(x,y)log_(2)(1/(p(x,y)))$
con la stessa facilità costruisco le ulteriori tabelle ottenendo lo stesso risultato per la mutua informazione
"tommik":
utlizzando la tabella che ti ho spiegato, il calcolo di I viene fuori in 2 secondi e mezzo ed è il seguente:
I=0,04
se proprio non ti piace allora utilizziamo l'altra formula
No no, a me piace. Vorrei solo capirla.
I nuovi valori (-0.06, 0.08, 0.02, ...) come si ottengono e cosa sarebbero?
Comunque ho rifatto i calcoli usando la formula $I(D;P)=H(D)+H(P)-H(D,P)$ ed ottengo $0.04$. Però non capisco perchè il mio ragionamento di prima non andasse bene..
"stefano86":
I nuovi valori (-0.06, 0.08, 0.02, ...) come si ottengono e cosa sarebbero?
sono semplicemente gli addendi di questa formula...una volta nota la distribuzione congiunta non ti serve altro....
$I(X,Y)=sum_(x)sum_(y)p(x,y)log_(2)[(p(x,y))/(p(x)p(y))]$
$-0.06=0.13log_(2)((0.13)/(0.35\cdot0.50))$
ecc ecc
con excel ci vuole un minuto ad impostare tutte le formule
Grazie, sei stato gentilissimo!
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo