Qualcuno può dirmi la definizione di entropia (statistica)
Mi serve una definizione di entropia, ma in senso statistico, non di fisica. Magari anche con degli esempi per farmi capire come si calcola. Qualcuno è in grado di aiutarmi?
Risposte
L'Entropia di Shannon è un indice di mutabilità, pertanto si basa sull'analisi delle frequenze.
Quando la mutabilità è minima tutte le unità statistiche hanno frequenza nulla a parte una che è pari al totale delle osservazioni. Invece in caso di mutabilità massima tutte le frequenze sono uguali, cioè se abbiamo numerosità $n$ e $k$ unità statistiche ognuna ha frequenza $k/n$.
Per definizione l'entropia di Shannon è: $-\sum_{i=1}^k (n_i)/N*log((n_i)/N)$ e varia tra $0$ e $log(k)$, dove $N$ è la numerosità complessiva e $n_i$ la frequenza osservata per ogni unità.
Per relativizzarlo basta dividere per $log(k)$ e a questo punto varia tra $0$ e $1$-
Quando la mutabilità è minima tutte le unità statistiche hanno frequenza nulla a parte una che è pari al totale delle osservazioni. Invece in caso di mutabilità massima tutte le frequenze sono uguali, cioè se abbiamo numerosità $n$ e $k$ unità statistiche ognuna ha frequenza $k/n$.
Per definizione l'entropia di Shannon è: $-\sum_{i=1}^k (n_i)/N*log((n_i)/N)$ e varia tra $0$ e $log(k)$, dove $N$ è la numerosità complessiva e $n_i$ la frequenza osservata per ogni unità.
Per relativizzarlo basta dividere per $log(k)$ e a questo punto varia tra $0$ e $1$-
Grazie, perfetto.
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo