Divergenza informazionale
Buongiorno! Nel corso di calcolo delle probabilità e statistica, abbiamo affrontato qualche lezione fa la divergenza informazionale. Rileggendo gli appunti, non riesco a capire di cosa si tratta (in una facciata sono state presentate delle formule e basta). Le mie domande sono dunque:
- Cosa si calcola con la divergenza informazionale?
- Dagli appunti ricavo le seguenti formule, sono la stessa cosa (una generalizzata e l'altra nel caso specifico), o non ho capito nulla?
$ D(X,Y) = sum_(i = 1)^(N) (p)^(x)_i log_2 (((p)^(x)_i) / ((p)^(y)_i)) \geq 0$
$ D(X,Y) = log_2 N - H(X) $
Grazie
- Cosa si calcola con la divergenza informazionale?
- Dagli appunti ricavo le seguenti formule, sono la stessa cosa (una generalizzata e l'altra nel caso specifico), o non ho capito nulla?
$ D(X,Y) = sum_(i = 1)^(N) (p)^(x)_i log_2 (((p)^(x)_i) / ((p)^(y)_i)) \geq 0$
$ D(X,Y) = log_2 N - H(X) $
Grazie
Risposte
Mi sono risposto da solo! La divergenza informazionale trova la "distanza" fra i vettori di probabilità. Quindi più è grande la divergenza, più sarà facile scoprire la verità tramite sperimentazione statistica.
La divergenza informazionale vale zero se e solo se X = Y (cioè se ogni punto dei vettori aleatori è uguale, se hanno indice i, per ogni i).
La prima è la disuguaglianza di Gibbs, che è la generalizzazione della formula (per trovare quindi la divergenza informazionale) mentre la seconda è valida se e solo se Y ha distribuzione uniforme!
Se ho sparato qualche cavolata correggetemi...
La divergenza informazionale vale zero se e solo se X = Y (cioè se ogni punto dei vettori aleatori è uguale, se hanno indice i, per ogni i).
La prima è la disuguaglianza di Gibbs, che è la generalizzazione della formula (per trovare quindi la divergenza informazionale) mentre la seconda è valida se e solo se Y ha distribuzione uniforme!
Se ho sparato qualche cavolata correggetemi...
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo