[Esercizio] Ma che sorpresa!
Vorrei proporvi due esercizi, uno facile e uno difficile per il livello delle superiori, ma che comunque secondo me potrebbe essere molto didattico se letto attentamente (più che risolto) e che comunque è relativamente sorprendente 
Esercizio:
Quanto è sorprendente un evento? È possibile misurare la "sorpresa" con un numero reale così come misuriamo altri concetti più concreti e tangibili in natura? Le risposte a questa domanda seguono dalla soluzione di Shannon alla proprietà fondamentale dell'informazione.
Cerchiamo di trovare una funzione che descriva la sorpresa di un evento che si verifica. Informalmente, se due eventi hanno la stessa probabilità, allora il verificarsi di uno è tanto sorprendente quanto il verificarsi dell'altro. Quindi la sorpresa dovrebbe essere una funzione che dipende dalla probabilità solamente e non dall'evento in sé. Denotiamo dunque con \(I(p)\) la sorpresa associata ad un evento con probabilità \(p\). Intuitivamente se un evento accade con probabilità \(1\) non dovrebbe esserci incertezza e dunque non dovrebbe essere per nulla sorprendente che questo evento si verifichi, pertanto la sorpresa dovrebbe essere pari a zero. Abbiamo così la prima condizione per la sorpresa
1) Condizione
\[ I(1) = 0 \]
Successivamente, notiamo che se un evento \(A\) è più probabile che accada di un altro evento \(B\), allora dovrebbe essere meno sorprendente il verificarsi di \(A\) rispetto al verificarsi di \(B\), dunque più un evento è probabile e meno contribuisce alla sorpresa! Otteniamo la seconda condizione per la sorpresa
2) Condizione
\[I(p) \text{ è una funzione decrescente in } p \]
Notiamo in seguito che se due eventi hanno approssimativamente la stessa probabilità di accadere, allora approssimativamente dovrebbero essere sorprendenti uguali il loro verificarsi. Questo porta ad un'altra condizione ragionevole:
3) Condizione
\[ I(p) \text{ è una funzione continua in } p \]
Infine se un evento \(A\) possiede una certa quantità di sorpresa \(I(p)\), e un evento \(B\) possiede una certa quantità di sorpresa pari a \(I(q)\), e sono due eventi indipendenti, allora se si osservano gli eventi \(A\) e \(B\) verificarsi insieme, è ragionevole che le quantità di sorpresa si sommino
4) Condizione
\[ I(pq)=I(p) + I(q) \]
Esercizio 1) (Facile)
Dimostra, verificando tutte e quattro le condizioni, che per ogni \(b > 1 \) abbiamo che
\[ I(p) := - \log_b (p) \]
definisce una funzione di sorpresa.
Esercizio 2) (Difficile)
Dimostra che se \(I(p)\) è una funzione di sorpresa allora, a meno di una costante, abbiamo che
\[ I(p) = - \log_2(p)\]
Hint per 2:
Esercizio:
Quanto è sorprendente un evento? È possibile misurare la "sorpresa" con un numero reale così come misuriamo altri concetti più concreti e tangibili in natura? Le risposte a questa domanda seguono dalla soluzione di Shannon alla proprietà fondamentale dell'informazione.
Cerchiamo di trovare una funzione che descriva la sorpresa di un evento che si verifica. Informalmente, se due eventi hanno la stessa probabilità, allora il verificarsi di uno è tanto sorprendente quanto il verificarsi dell'altro. Quindi la sorpresa dovrebbe essere una funzione che dipende dalla probabilità solamente e non dall'evento in sé. Denotiamo dunque con \(I(p)\) la sorpresa associata ad un evento con probabilità \(p\). Intuitivamente se un evento accade con probabilità \(1\) non dovrebbe esserci incertezza e dunque non dovrebbe essere per nulla sorprendente che questo evento si verifichi, pertanto la sorpresa dovrebbe essere pari a zero. Abbiamo così la prima condizione per la sorpresa
1) Condizione
\[ I(1) = 0 \]
Successivamente, notiamo che se un evento \(A\) è più probabile che accada di un altro evento \(B\), allora dovrebbe essere meno sorprendente il verificarsi di \(A\) rispetto al verificarsi di \(B\), dunque più un evento è probabile e meno contribuisce alla sorpresa! Otteniamo la seconda condizione per la sorpresa
2) Condizione
\[I(p) \text{ è una funzione decrescente in } p \]
Notiamo in seguito che se due eventi hanno approssimativamente la stessa probabilità di accadere, allora approssimativamente dovrebbero essere sorprendenti uguali il loro verificarsi. Questo porta ad un'altra condizione ragionevole:
3) Condizione
\[ I(p) \text{ è una funzione continua in } p \]
Infine se un evento \(A\) possiede una certa quantità di sorpresa \(I(p)\), e un evento \(B\) possiede una certa quantità di sorpresa pari a \(I(q)\), e sono due eventi indipendenti, allora se si osservano gli eventi \(A\) e \(B\) verificarsi insieme, è ragionevole che le quantità di sorpresa si sommino
4) Condizione
\[ I(pq)=I(p) + I(q) \]
Esercizio 1) (Facile)
Dimostra, verificando tutte e quattro le condizioni, che per ogni \(b > 1 \) abbiamo che
\[ I(p) := - \log_b (p) \]
definisce una funzione di sorpresa.
Esercizio 2) (Difficile)
Dimostra che se \(I(p)\) è una funzione di sorpresa allora, a meno di una costante, abbiamo che
\[ I(p) = - \log_2(p)\]
Hint per 2:
Risposte
Anche se questo esercizio e' rivolto agli studenti delle superiori, metto un mio commento.
Anche perche', secondo me, se l'evento e' "uno studente delle superiori propone una soluzione a questo esercizio", allora la sorpresa associata a questo evento e' molto alta, ovvero la probabilita' che uno studente delle superiori metta una risposta e' molto bassa.
Quindi spero di ravvivare un minimo la conversazione.
L'esercizio 1 e' definito come facile e in effetti non pone grandi difficolta'.
L'esercizio 2, piu' che essere difficile, sembra contraddire quanto dice l'esercizio 1, ovvero che se e' sufficiente che $b>1$ per avere una funzione sorpresa, allora non si capisce come mai l'esercizio 2 richieda che $b=2$.
Inoltre, nello spoiler, non si capisce come fa una funzione $f(x) = cx$ ad essere limitata (inferiormente o superiormente).
Anche perche', secondo me, se l'evento e' "uno studente delle superiori propone una soluzione a questo esercizio", allora la sorpresa associata a questo evento e' molto alta, ovvero la probabilita' che uno studente delle superiori metta una risposta e' molto bassa.
Quindi spero di ravvivare un minimo la conversazione.
L'esercizio 1 e' definito come facile e in effetti non pone grandi difficolta'.
L'esercizio 2, piu' che essere difficile, sembra contraddire quanto dice l'esercizio 1, ovvero che se e' sufficiente che $b>1$ per avere una funzione sorpresa, allora non si capisce come mai l'esercizio 2 richieda che $b=2$.
Inoltre, nello spoiler, non si capisce come fa una funzione $f(x) = cx$ ad essere limitata (inferiormente o superiormente).
Sono d'accordo che se uno studente delle superiori propone una soluzione a questo esercizio la sorpresa è alta
L'esercizio 2 direi che senza l'hint è molto difficile se non impossibile per uno studente delle superiori, però non contraddice nulla infatti c'è scritto a meno di una costante
Hai ragione ho dimenticato monotona e limitata inferiormente o superiormente in almeno un intervallo.
Edit: La base del logaritmo definisce essenzialmente l'unità di misura, perché ho scelto la base \(2\)? Beh perché è usata più spesso in informatica e la sua unità di misura è il bit
L'esercizio 2 direi che senza l'hint è molto difficile se non impossibile per uno studente delle superiori, però non contraddice nulla infatti c'è scritto a meno di una costante
Hai ragione ho dimenticato monotona e limitata inferiormente o superiormente in almeno un intervallo.
Edit: La base del logaritmo definisce essenzialmente l'unità di misura, perché ho scelto la base \(2\)? Beh perché è usata più spesso in informatica e la sua unità di misura è il bit
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo