Informazione, tipo, valore, attributo.
Heilà!
Mi sto accingendo a studiare l'informazione, come definirla e come quantificarla.
Ho studiato che ne esiste una definizione puramente descrittiva (o discorsiva) abbastanza generica, ed una operativa, cioè quella che correla all'informazione il concetto di scelta e una terna {TIPO, VALORE, ATTRIBUTO}.
Fissato che il TIPO è un insieme finito di elementi nel quale si opera la famosa scelta (scelta del VALORE), una volta selezionato il VALORE l'interpretazione che ne si fa di questo VALORE costituisce l'ATTRIBUTO, il quale è dipendente dal contesto. Come già scritto in precedenza, sto studiando come quantificare l'informazione, e ho capito che l'informazione trasportata da un simbolo è:
[tex]I(a)= -k \ln (p)[/tex]
('a' è il simbolo, mentre 'p' la sua probabilità di occorrenza)
Questo valore dipende dalla probabilità di occorrenza del simbolo, meno si presenta frequentemente, più informazione trasporta, in quanto lascia più "sorpresi".
La mia domanda è: esiste una relazione tra l'elemento generico 'a' e il TIPO? Questo generico simbolo è uno tra quelli che vanno a formare questo insieme finito detto TIPO (ovvero un VALORE?)? La probabilità di occorrenza è quindi la quantità di volte in cui 'a' si "manifesta" diviso il numero di occorrenze di tutti gli altri elementi del TIPO, o sto prendendo un granchio grande quanto 3/4 di oceano Pacifico?
Quando una sorgente trasmette un messaggio ad un destinatario, secondo quello che è lo schema di Shannon, sta inviando in realtà VALORI del TIPO oppotunamente rappresentati/codificati in simboli al destinatario?
Faccio questa domanda perchè non riesco a trovare un qualcosa che confermi questo mio pensiero, e quindi la probabilità che io mi stia sbagliando è alta...
Con questa mia domanda non voglio urtare la sensibilità di nessuno
, perdonate la mia goffagine e la mia stupidità... 
Mi sto accingendo a studiare l'informazione, come definirla e come quantificarla.
Ho studiato che ne esiste una definizione puramente descrittiva (o discorsiva) abbastanza generica, ed una operativa, cioè quella che correla all'informazione il concetto di scelta e una terna {TIPO, VALORE, ATTRIBUTO}.
Fissato che il TIPO è un insieme finito di elementi nel quale si opera la famosa scelta (scelta del VALORE), una volta selezionato il VALORE l'interpretazione che ne si fa di questo VALORE costituisce l'ATTRIBUTO, il quale è dipendente dal contesto. Come già scritto in precedenza, sto studiando come quantificare l'informazione, e ho capito che l'informazione trasportata da un simbolo è:
[tex]I(a)= -k \ln (p)[/tex]
('a' è il simbolo, mentre 'p' la sua probabilità di occorrenza)
Questo valore dipende dalla probabilità di occorrenza del simbolo, meno si presenta frequentemente, più informazione trasporta, in quanto lascia più "sorpresi".
La mia domanda è: esiste una relazione tra l'elemento generico 'a' e il TIPO? Questo generico simbolo è uno tra quelli che vanno a formare questo insieme finito detto TIPO (ovvero un VALORE?)? La probabilità di occorrenza è quindi la quantità di volte in cui 'a' si "manifesta" diviso il numero di occorrenze di tutti gli altri elementi del TIPO, o sto prendendo un granchio grande quanto 3/4 di oceano Pacifico?
Quando una sorgente trasmette un messaggio ad un destinatario, secondo quello che è lo schema di Shannon, sta inviando in realtà VALORI del TIPO oppotunamente rappresentati/codificati in simboli al destinatario?
Faccio questa domanda perchè non riesco a trovare un qualcosa che confermi questo mio pensiero, e quindi la probabilità che io mi stia sbagliando è alta...
Con questa mia domanda non voglio urtare la sensibilità di nessuno
, perdonate la mia goffagine e la mia stupidità...
Risposte
Ciao Scherlock.h 
La probabilità di occorrenza può essere stabilita in maniera del tutto arbitraria e dipende dal fenomeno/contesto in cui si considerano i simboli. Posso ad esempio attribuire agli stessi un valore uguale (in tal caso ho una distribuzione uniforme) o meno secondo una determinata distribuzione. Ciò che vario è quindi la mia variabile casuale di fatto...
Il "granchio" nella tua considerazione lo stai prendendo semplicemente perché quello da te proposto è uno dei possibili modi di assegnare una probabilità ai simboli ma non l'unico.
Esatto invece ciò che affermi nell'ultima domanda.
Spero di averti chiarito maggiormente le idee seppur la risposta sia sintetica...
La probabilità di occorrenza può essere stabilita in maniera del tutto arbitraria e dipende dal fenomeno/contesto in cui si considerano i simboli. Posso ad esempio attribuire agli stessi un valore uguale (in tal caso ho una distribuzione uniforme) o meno secondo una determinata distribuzione. Ciò che vario è quindi la mia variabile casuale di fatto...
Il "granchio" nella tua considerazione lo stai prendendo semplicemente perché quello da te proposto è uno dei possibili modi di assegnare una probabilità ai simboli ma non l'unico.
Esatto invece ciò che affermi nell'ultima domanda.
Spero di averti chiarito maggiormente le idee seppur la risposta sia sintetica...
Tanto per fare un esempio di probabilità non uniforme. Supponi di star considerando un testo italiano. È abbastanza evidente che alcune lettere appaiono più spesso di altre. La probabilità di trovare ad esempio una A sarà molto superiore a quella di trovare una K ed ha quindi senso in contesti simili assegnare probabilità diverse per ogni valore.
Grazie ad entrambi 
Ma questa probabilità non la si stabilisce a priori, o mi sbaglio? Posso calcolarmi la quantità di informazione solo successivamente, quando ottengo un messaggio da parte della mia bella sorgente.
Consideriamo questo messaggio:
Non sostituire ch con la kappa
Ci sono 25 lettere (non ho contato gli spazi), e un totale di 3 'a' e una 'k':
Adesso mi calcolo la probabilità di occorrenza (almeno a quanto ho capito, potrebbe essere semplicemente l'ennesimo granchio)
Utilizzando questa formula:
[tex]I=-log_2(p)[/tex]
Mi calcolo la quantità di informazione trasportata dai simboli 'a' e 'k':
[tex]I(a)=-log_2(3/25)[/tex]
[tex]I(k)=-log_2(1/25)[/tex]
È esatto?
Ma questa probabilità non la si stabilisce a priori, o mi sbaglio? Posso calcolarmi la quantità di informazione solo successivamente, quando ottengo un messaggio da parte della mia bella sorgente.
Consideriamo questo messaggio:
Non sostituire ch con la kappa
Ci sono 25 lettere (non ho contato gli spazi), e un totale di 3 'a' e una 'k':
Adesso mi calcolo la probabilità di occorrenza (almeno a quanto ho capito, potrebbe essere semplicemente l'ennesimo granchio)
Utilizzando questa formula:
[tex]I=-log_2(p)[/tex]
Mi calcolo la quantità di informazione trasportata dai simboli 'a' e 'k':
[tex]I(a)=-log_2(3/25)[/tex]
[tex]I(k)=-log_2(1/25)[/tex]
È esatto?
No, nel momento in cui tu assumi che le varie lettere seguano una certa distribuzione fai una considerazione a priori, ad esempio nel caso proposto da apatriarca lo fai conscio del fatto che stai considerando la lingua italiana relativamente alle lettere dell'alfabeto latino. La probabilità delle varie lettere cambierebbe se ad esempio considerassi la lingua inglese o comunque un'altra lingua.
Come ha già detto giustamente onlyReferee, la probabilità viene normalmente data a priori quando si vuole calcolare la quantità di informazione. Il calcolo delle probabilità a partire del messaggio vengono usate invece nel campo della compressione di informazioni. Perché ci sia un vantaggio è però necessario che la dimensione della tabella sia inferiore alla dimensione guadagnata operando la compressione. L'idea di questo metodo consiste nell'usare, per ogni simbolo, un numero di bit vicino alla quantità di informazione associata a tale simbolo.
Grazie mille ad entrambi Ora la cosa è molto più chiara.
Sapreste indicarmi risorse fatte bene da consultare sull'argomento? Un libro magari, o delle semplici dispense?
Ora la cosa è molto più chiara. Sapreste indicarmi risorse fatte bene da consultare sull'argomento? Un libro magari, o delle semplici dispense?
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo