Teoria dell'informazione: misure di informazione

[magsas]

Vorrei proporvi due esercizi che non riesco a risolvere:

Data una distribuzione di probabilità $(p_1,p_2,p_3)$, dimostrare o confutare: $H(p_1,p_2,p_3)<=H(p_1,(p_2+p_3)/2,(p_2+p_3)/2)$

Siano $X, Y, Z$ variabili casuali, mostrare che $2H(XYZ)<=H(XY)+H(YZ)+H(ZY)$

Nel primo esercizio, applicando il teorema di Jensen mi ritrovo con un $log (0)$ che "non so interpretare"...

Grazie mille in anticipo.

[yoshiharu]

"magsas":
Nel primo esercizio, applicando il teorema di Jensen mi ritrovo con un $log (0)$ che "non so interpretare"...

Mi sembra strano che ti ritrovi un logaritmo "allo stato brado" nella formula: non e' che e' moltiplicato per un infinitesimo? Per intenderci, tipo [tex]x^\alpha \log(x), \ \alpha>0[/tex]?
Forse potresti postare l'espressione incriminata?

[magsas]

La disequazione l'ho svolta così (ho eliminato l'entropia di $p_1$ perché sono due quantità uguali e ho portato tutto da un lato):
$p_2 log(1/p_2) + p_3 log(1/p_3) - ((p_2+p_3)/2) log (2/(p_2+p_3)) - ((p_2+p_3)/2) log (2/(p_2+p_3))$

Per Jensen ($E[f(X)]<=f(E[X])$ per $f$ funzione concava):
$<= log (p_2 (1/p_2) + p_3 (1/p_3) - ((p_2+p_3)/2) (2/(p_2+p_3)) - ((p_2+p_3)/2) (2/(p_2+p_3)))$

dalla quale ho:
$log (1+1-1-1)=log(0)$

Dove sbaglio?!?

[hamming_burst]

[Piccolo OT]

potrei chiedere per cosa sta la funzione $H()$?

[/OT]

[magsas]

"ham_burst":[Piccolo OT]

potrei chiedere per cosa sta la funzione $H()$?

[/OT]

è l'entropia, dove $H(X)=sum_{x € X} p(x) log_2 (1/(p(x)))$

Grazie per l'interessamento.

P.S: dove € sta per appartiene (non so come si fa correttamente).

[yoshiharu]

"magsas":La disequazione l'ho svolta così (ho eliminato l'entropia di $p_1$ perché sono due quantità uguali e ho portato tutto da un lato):
$p_2 log(1/p_2) + p_3 log(1/p_3) - ((p_2+p_3)/2) log (2/(p_2+p_3)) - ((p_2+p_3)/2) log (2/(p_2+p_3))$

Per Jensen ($E[f(X)]<=f(E[X])$ per $f$ funzione concava):
$<= log (p_2 (1/p_2) + p_3 (1/p_3) - ((p_2+p_3)/2) (2/(p_2+p_3)) - ((p_2+p_3)/2) (2/(p_2+p_3)))$

dalla quale ho:
$log (1+1-1-1)=log(0)$

Dove sbaglio?!?

In realta' il verso della disuguaglianza (di J.) non mi torna.
A parte questo non mi sembra corretta la sostituzione che fai: per entrambi i lati della disuguaglianza data si ha la disuguaglianza di Jensen, ma poi applichi la stessa cosa alla loro differenza, e credo che questo non sia corretto.

[magsas]

Ho trovato il trucco per risolvere il primo esercizio
$p_2 log(1/p_2) + p_3 log(1/p_3) - ((p_2+p_3)/2) log (2/(p_2+p_3)) - ((p_2+p_3)/2) log (2/(p_2+p_3))$

è uguale a
$p_2 log(1/p_2) + p_3 log(1/p_3) - ((p_2+p_3)) log (2/(p_2+p_3)) = p_2 log(1/p_2) + p_3 log(1/p_3) + ((p_2+p_3)) log ((p_2+p_3)/2) = p_2 log(1/p_2) + p_3 log(1/p_3) + (p_2) log ((p_2+p_3)/2) + (p_3) log ((p_2+p_3)/2)$

Raggruppo i logaritmi ed ho:
$(p_2) log ((p_2+p_3)/(2p_2)) + (p_3) log ((p_2+p_3)/(2p_3))$

Moltiplico e divido per $(p_2+p_3)$, quindi
$(p_2+p_3)[(p_2)/(p_2+p_3) log ((p_2+p_3)/(2p_2)) + (p_3)/(p_2+p_3) log ((p_2+p_3)/(2p_3))]$

Applicando Jensen quello di prima è
$<= (p_2+p_3)log[(p_2)/(p_2+p_3) ((p_2+p_3)/(2p_2)) + (p_3)/(p_2+p_3) ((p_2+p_3)/(2p_3))] = (p_2+p_3) log(1/2 + 1/2) = (p_2+p_3) log(1)=0$

Dovrebbe essere corretto.... Che ve ne pare?

Adesso qualcuno, gentilmente, mi aiuta per il secondo esercizio?

Grazie a tutti per le risposte precedenti.

[yoshiharu]

Scusa, ma non basta dire che, visto che il logaritmo e' monotono crescente, si ha:
[tex]p_2 \log(p_2+p_3) \ge p_2 \log(p_2)[/tex]
e analogamente per [tex]p_3[/tex]?

[magsas]

"yoshiharu":Scusa, ma non basta dire che, visto che il logaritmo e' monotono crescente, si ha:
[tex]p_2 \log(p_2+p_3) \ge p_2 \log(p_2)[/tex]
e analogamente per [tex]p_3[/tex]?

Beh si, forse è sufficiente anche dire questo...