Entropia dell'informazione

[pirata111]

Qualcuno sa spiegarmi cosa rappresentano i bits calcolati tramite la formula dell'entropia dell'informazione?
E' corretto dire che sono i bits che mediamente sono utilizzati per codificare un simbolo di una sorgente aleatoria?
Grazie.

[K.Lomax]

Ma ha anche un significato di incertezza sulla variabile aleatoria associata alla sorgente. Qualsiasi tentata spiegazione in questo momento sarebbe incompleta.
Io ti consiglio di studiare o comunque approfondire utilizzando il seguente libro, indiscussamente il più autorevole in merito:

Thomas M. Cover, Joy A. Thomas "Elements of Information Theory" John Wiley & Sons

Credo che ci siano anche delle versioni elettroniche scaricabili gratuitamente.

[pirata111]

Sono in possesso di quel testo, solo che quel testo non si sofferma più di tanto. Grazie.

[K.Lomax]

A che punto sei del libro?

Arriva al primo teorema di Shannon e comincerai a capire qualcosa. Quel libro è un po' così: più lo studi più capisci quello che c'era scritto nella prima pagina