Entropia di Shannon
E' facile trovare in rete discussioni sull'entropia di Shannon come misura del grado di incertezza di un sistema, e spesso vengono dimostrate le sue proprietà nel caso di distribuzioni discrete di probabilità. Il mio intento è di dimostrare le stesse proprietà nel caso continuo dove presentano qualche difficoltà in più.
Sia dunque
[tex]H(x)=- \int p(x) \log(p(x)) dx[/tex].
Dimostrare che se $p$ è una funzione non negativa e [tex]\int p(x) dx = 1[/tex], allora $H$ è non negativa.
Questo è facile nel caso discreto, perchè le probabilità sono numeri tra $0$ e $1$ e quindi i logaritmi sono negativi. Una distribuzione di probabilità può però assumere valori arbitrariamente grandi, per cui la non negatività non è più vera puntualmente. Continua ad essere vera globalmente?
Siccome l'informazione dovrebbe essere minima per $p$ costante, e per $p$ costante $H$ è nulla, direi di sì, ma cercavo una dimostrazione indipendente dalle nozioni di statistica e teoria dell'informazione.
Inoltre mi pongo un'altro problema: se $p$ è costante a tratti, l'informazione non dovrebbe più essere minima, eppure questo integrale si annulla. Penso che questo possa essere risolto nell'ambito della teoria delle distribuzioni, introducendo qualche delta-sequenza nei punti di salto, ma non so esattamente come.
Qualcuno sa indicarmi come fare?
Sia dunque
[tex]H(x)=- \int p(x) \log(p(x)) dx[/tex].
Dimostrare che se $p$ è una funzione non negativa e [tex]\int p(x) dx = 1[/tex], allora $H$ è non negativa.
Questo è facile nel caso discreto, perchè le probabilità sono numeri tra $0$ e $1$ e quindi i logaritmi sono negativi. Una distribuzione di probabilità può però assumere valori arbitrariamente grandi, per cui la non negatività non è più vera puntualmente. Continua ad essere vera globalmente?
Siccome l'informazione dovrebbe essere minima per $p$ costante, e per $p$ costante $H$ è nulla, direi di sì, ma cercavo una dimostrazione indipendente dalle nozioni di statistica e teoria dell'informazione.
Inoltre mi pongo un'altro problema: se $p$ è costante a tratti, l'informazione non dovrebbe più essere minima, eppure questo integrale si annulla. Penso che questo possa essere risolto nell'ambito della teoria delle distribuzioni, introducendo qualche delta-sequenza nei punti di salto, ma non so esattamente come.
Qualcuno sa indicarmi come fare?
Risposte
É falso. Quella è la trasposizione continua dell'entropia di Shannon definita per v.a. discrete. Peró essa perde proprietà tra cui la non negatività.
Intanto grazie. Chiaramente hai ragione. Mi chiedo però a questo punto se l'entropia di Shannon mantiene lo stesso significato per sistemi con distribuzioni continue di probabilità, e come si collegano il caso discreto con quello continuo.
Considero ad esempio le distribuzioni di probabilità con valore costante $k$ su un intervallo di ampiezza $1/k$.
Mi risulta che per queste funzioni, l'entropia di Shannon vale $-log(k)$.
Intuitivamente direi che l'informazione decresce per $k -> 0$, essendo la probabilità distribuita su un intervallo più grande, ed in effetti l'entropia diventa infinito positivo. Vicerversa, per $k -> +infty$, l'entropia diventa infinito negativo. Fino a qua le cose tornano.
Ora però mi accorgo che il caso $k -> +infty$ tende al caso discreto in cui si ha un solo valore probabile, che ha entropia nulla. In pratica non riesco a riottenere il caso discreto come limite del caso continuo, e questo è fastidioso.
Considero ad esempio le distribuzioni di probabilità con valore costante $k$ su un intervallo di ampiezza $1/k$.
Mi risulta che per queste funzioni, l'entropia di Shannon vale $-log(k)$.
Intuitivamente direi che l'informazione decresce per $k -> 0$, essendo la probabilità distribuita su un intervallo più grande, ed in effetti l'entropia diventa infinito positivo. Vicerversa, per $k -> +infty$, l'entropia diventa infinito negativo. Fino a qua le cose tornano.
Ora però mi accorgo che il caso $k -> +infty$ tende al caso discreto in cui si ha un solo valore probabile, che ha entropia nulla. In pratica non riesco a riottenere il caso discreto come limite del caso continuo, e questo è fastidioso.
Pensandoci meglio, una distribuzione di probabilità discreta è infinitamente più ordinata di una continua, quindi forse è per questo che non posso confrontare i due casi, come se fossero due livelli diversi.
Resta il fatto che mi piacerebbe trovare un libro o altro che tratti per bene l'entropia di Shannon, con particolare attenzione al caso continuo.
Resta il fatto che mi piacerebbe trovare un libro o altro che tratti per bene l'entropia di Shannon, con particolare attenzione al caso continuo.
http://ee.stanford.edu/~gray/it.pdf
tutto sommato non mi piace troppo come notazione, pero tratta bene tutti i casi dell'entropia sia discreta che continua. Magari ti puo essere utile.
Si capisce bene come diventa delicato il caso continuo e come aumenti il tecnicismo soprattutto per dimostrare risultati analoghi al teorema di Shannon-McMillan-Breiman (che alla fine é quello che uso di tutta sta teoria...) che già nel caso numerabile non é ovvio.
tutto sommato non mi piace troppo come notazione, pero tratta bene tutti i casi dell'entropia sia discreta che continua. Magari ti puo essere utile.
Si capisce bene come diventa delicato il caso continuo e come aumenti il tecnicismo soprattutto per dimostrare risultati analoghi al teorema di Shannon-McMillan-Breiman (che alla fine é quello che uso di tutta sta teoria...) che già nel caso numerabile non é ovvio.
Grazie.
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo