Entropia cosa è?

[gaiapuffo]

Ciao. Qualcuno ha capito cosa è l'entropia allora io ho capito che serve per misurare la sorpresa del verificarsi di un possibile risultato di un evento. Più bassa è la probabilità maggiore sarà la sorpresa...Ma la formula per calcolare la sorpresa è

log 1/p(a) che diventa -log p(a) mi potete spiegare perchè?

Inoltre avrei questo problema. Sia data un runa contenente x palline bianche e y palline nere,si estrae una pallina e sia x la variabile aleatoria che determina il colore. Se prima di estrarre aggiungo una pallina bianca e una nera l'entropia aumenta o diminuisce?

Qui pensavo che visto che aggiungo una nera e una bianca la proporzione di probabilità bianca e nera rimane invariata quindi non cambia la sorpresa e dovrebbe rimanere anche l'entropia invariata?

[fu^2]

scusa cos'è p(a)?

Comunque l'entropia per una variabile aleatoria che assume valori in uno spazio finito o numerabile è definita come

$H(X)=-\sum_x p(x)\log p(x)$, dove $p(x)=\mathbb{P}(X=x)$.

http://it.wikipedia.org/wiki/Entropia_( ... formazione)

[hamming_burst]

"fu^2":scusa cos'è p(a)?

forse si riferisce alla probabilità di un evento A: $P{A}$.

"gaiapuffo":log 1/p(a) che diventa -log p(a) mi potete spiegare perchè?

bhe semplice proprietà dei logaritmi.

$\log_2(1/{p(a)}) = \log_2(p(a)^{-1}) = -1*\log_2(p(a))$

[gaiapuffo]

ok