Aiuto per un logaritmo

[daniele_cmp]

Ho questo problema. Non capisco perchè partendo da $H(X)-logM=\sum_(i=1)^Mp_ilog(1/(p_iM))$ ed usando la disuguaglianza $lny<=y-1$ si ha $H(X)-logM<=loge\sum_(i=1)^M(1/M-p_i)$. Ho provato a passare da $log(1/(p_iM))$ a $ln$ ponendo poi $y$ uguale all'argomento di quel $ln$, ma non mi viene. Qualcuno mi può aiutare?

Grazie

[_nicola de rosa]

"daniele_cmp":Ho questo problema. Non capisco perchè partendo da $H(X)-logM=\sum_(i=1)^Mp_ilog(1/(p_iM))$ ed usando la disuguaglianza $lny<=y-1$ si ha $H(X)-logM<=loge\sum_(i=1)^M(1/M-p_i)$. Ho provato a passare da $log(1/(p_iM))$ a $ln$ ponendo poi $y$ uguale all'argomento di quel $ln$, ma non mi viene. Qualcuno mi può aiutare?

Grazie

Tu devi dimostrare che data una sorgente $X$ che emette simboli con probabilità $p_i$ $i=1,2,...,M$, allora l'entropia della sorgente è sempre minore od uguale dell'entropia che la sorgente presenterebbe se emettesse simboli equiprobabili.
Allora sia $H(X)$ l'entropia della sorgente $X$, mentre $log_2M$ è l'entropia nel caso di simboli equiprobabili.
Ora poichè $sum_(i=1)^Mp_i=1$ per la condizione di normalizzazione per le pmf allora $log_2M=log_2M*sum_(i=1)^Mp_i=sum_(i=1)^Mp_i*log_2(M)$
Allora $H(X)-log_2M=sum_(i=1)^Mp_i*log_2(1/(p_i))-sum_(i=1)^Mp_i*log_2(M)=sum_(i=1)^Mp_i*log_2(1/(Mp_i))$
Ora come hai detto tu $lny<=y-1$ (e questo lo si dimostra mettendo in evidenza che la retta $y-1$ è la retta tangente alla curva $lny$ nel punto $(1,0)$, e poichè la funzione $lny$ è strettamente crescente allora essa starà sempre sotto la sua tangente, da cui $lny<=y-1$) e ricordando che $log_2y=lny/ln2$ si ha:
$H(X)-log_2M=sum_(i=1)^Mp_i*log_2(1/(Mp_i))=1/(ln2)sum_(i=1)^Mp_i*ln(1/(Mp_i))<=1/(ln2)sum_(i=1)^Mp_i*(1/(Mp_i)-1)=
$sum_(i=1)^M1/M-sum_(i=1)^Mp_i=M*1/M-1=0$ dal momento che si ha che $sum_(i=1)^Mp_i=1$. Per cui
$H(X)-log_2M<=0$ cioè $H(X)<=log_2M$

[daniele_cmp]

"nicasamarciano":
Tu devi dimostrare che data una sorgente $X$ che emette simboli con probabilità $p_i$ $i=1,2,...,M$, allora l'entropia della sorgente è sempre minore od uguale dell'entropia che la sorgente presenterebbe se emettesse simboli equiprobabili.

Esatto, il teorema era quello. L'hai spiegato in un modo che più chiaro di così non si poteva. Adesso l'ho capito. Grazie!