Teoria dell'informazione

[Gazza_86]

Ciao a tutti, mi serve un aiuto per risolvere il seguente esercizio di teoria dell'informazione:

Ho un sistema con una variabile aleatoria gaussiana x (media nulla, varianza sigma(x)^2) in ingresso
un blocco che ne fa il modulo, quindi y=|x| (la distribuzione di y dovrebbe dunque essere fx(y) + fx(-y) = 2fx(y) per y>0)
la variabile y passa attraverso un canale con rumore bianco gaussiano additivo n (media nulla, varianza sigma(n)^2)
l'uscita del sistema è quindi una variabile aleatoria z = y + n = |x| + n.

Mi si richiedono le informazioni mutue: I(Y,Z) e I(X,Z) (sono uguali???)
L'entropia condizionata H(X|Z).

[Sk_Anonymous]

Anche senza saper nulla di teoria del'informazione, uno può subito rispondere alla domanda:
I(Y|Z) e Y(X|Z) sono uguali?
La risposta è NO, perchè se la conoscenza di Z ti desse persino un'informazione completa su Y, ci sarebbero ancora due possibilità per X. Ne segue che la prima quantità, I(Y|X), supera la seconda I(X|Z). Ma di quanto?
Beh se non sbaglio, di un solo bit, cioè log2, perchè due sono i casi: o X=Y, oppure X=-Y.
Quanto all'entropia condizionata potresti ricordare brevemente la definizione di entropia in teoria dell'informazione?
Se ben ricordo informazione=negentropia, quindi l'entropia non dovrebbe essere altro che l'informazione cambiata di segno. E l'informazione è: $I=E(-lnP)$, dove P è la distribuzione di probabilità che conosciamo circa il dato evento, e E(X) indica "valore aspettato della variabile aleatoria X".
Giusto?

[Gazza_86]

L'entropia è la media delle informazioni relative ai possibili simboli, quindi nel caso continuo l'entropia di A è l'integrale su tutto il dominio di A di: p(a)log(1/p(a)); p(a) è la pdf di a.

In realtà per la risoluzione dell'esercizio non mi basta stabilire se le due informazioni mutue sono uguali ma devo anche trovarne l'espressione in forma chiusa.

Ti ricordo inoltre che I(X,Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)

[Gazza_86]

E' possibile ricavare in forma chiusa anche la pdf di z?

[_luca.barletta]

$I(X,Z)=H(Z)-H(Z|X)=H(Z)-H(N)$
$I(Y,Z)=H(Z)-H(Z|Y)=H(Z)-H(N)$
tant'è che X porta 1 bit in più d'informazione rispetto a Y (cioè il segno), ma Z non sa che farsene dato che $z=|x|+n$.

$H(X|Z)=1+H(Y|Z)$

H(Y|Z) si calcola portando avanti i soliti conti (noiosi).
Dubito si possa trovare una forma chiusa per la convoluzione di una gaussiana troncata e una gaussiana.

[Sk_Anonymous]

Certo che si può. Ho provato e ho visto che si può.
Per farlo si deve però prima calcolare il seguente integrale:
(1) $\int_0^{\infty}e^{at}erf(t)dt$ dove $erf(x)$=Error Function $-= 2\pi^{-1//2}\int_0^xexp(-u^2)du$
Questo integrale non è difficile (si fa per parti,ovviamente) ma ora non mi va di fare i calcoletti...
Forse stasera ... Perchè non lo fai tu, nel frattempo?
Difatti ecco l'espressione completa della pdf di z ($-\infty < z < +\infty$) , dove Y(y) indica la pdf di Y=X^2 (non serve calcolarla) e la v.a. X é una gaussiana di media 0 e varianza data:
$P(z)-=Prob(Z bello no!?
Se ora nell'ultimo integrale fai la trasformazione u=(z-y)/sqrt(2), allora otterrai tre integrali, di cui 2 facili e il terzo un po' meno, ma che si riduce ad un integrale del tipo (1), che a sua volta non è difficile fare per parti. AUGURI!
PS: Questo risponde anche all'affermazione pessimistica di Luca.Barletta.

[Gazza_86]

Ti ringrazio... anche se non capisco come avrei mai potuto risolvero in mezz'ora davanti al prof. all'esame

[Sk_Anonymous]

Ma forse il prof non ti chiedeva di trovare la pdf della Z in forma esplicita, se mai solo di scrivere la sua espressione in forma di integrale doppio!

[Gazza_86]

Mah non so, fatto sta che mi ha bocciato dopo che avevo scritto tutte le formule di probabilità che mi venivano in mente e che potessero essere utili.. ma senza venirne a capo

[Sk_Anonymous]

Mi dispiace! Si può sapere chi è questo prof così esigente?

[_luca.barletta]

"seascoli":Anche senza saper nulla di teoria del'informazione, uno può subito rispondere alla domanda:
I(Y|Z) e Y(X|Z) sono uguali?
La risposta è NO, perchè se la conoscenza di Z ti desse persino un'informazione completa su Y, ci sarebbero ancora due possibilità per X. Ne segue che la prima quantità, I(Y|X), supera la seconda I(X|Z).

E si vede...

"seascoli":Certo che si può. Ho provato e ho visto che si può.
Per farlo si deve però prima calcolare il seguente integrale:
(1) $\int_0^{\infty}e^{at}erf(t)dt$ dove $erf(x)$=Error Function $-= 2\pi^{-1//2}\int_0^xexp(-u^2)du$
Questo integrale non è difficile (si fa per parti,ovviamente) ma ora non mi va di fare i calcoletti...

Per arrivare ad una forma chiusa? Ne dubito.

"seascoli":Difatti ecco l'espressione completa della pdf di z ($-\infty < z < +\infty$) , dove Y(y) indica la pdf di Y=X^2 (non serve calcolarla) e la v.a. X é una gaussiana di media 0 e varianza data:
$P(z)-=Prob(Z bello no!?
Se ora nell'ultimo integrale fai la trasformazione u=(z-y)/sqrt(2), allora otterrai tre integrali, di cui 2 facili e il terzo un po' meno, ma che si riduce ad un integrale del tipo (1), che a sua volta non è difficile fare per parti. AUGURI!

Non credo, aspetto di essere smentito.

"seascoli":
PS: Questo risponde anche all'affermazione pessimistica di Luca.Barletta.

Hai solo impostato un calcolo (tra l'altro infarcito di inesattezze ed errori) demandando ad una volontà futura o ad altri malcapitati l'onere della risoluzione del medesimo. Pertanto non vedo una risposta alla mia affermazione (pessimistica ??) precedente.

[Sk_Anonymous]

Ti smentisco subito (ma mi sembra quasi di approfittarmi di un bambino):
Ti dò persino l'integrale indefinito da cui scaturisce il mio integrale definito (1).
$\int_0^xe^{at}erf(t)dt=1/a\int_0^xerf(t)d(e^{at})= $ ....integrando per parti (ve l'avevo pur detto!)
$ = 1/a[erf(t)exp(at)]_0^x-1/a\int_0^x 2/sqrt(\pi) exp(at)exp(-t^2)dt=1/a erf(x)exp(ax)-1/a 2/sqrt(\pi) exp(-{a^2}/4) \int_0^x exp(-{a^2}/4+at-t^2) dx= ... $
... cominci a vedere dove si va a parare? ... Lavoriamo solo sull'integrale rimasto
$ 1/a 2/sqrt(\pi) exp(-{a^2}/4)\int_0^xexp(-a^2/4+at-t^2) =1/a 2/sqrt(\pi) exp(-{a^2}/4)\int_0^xexp[-(t-a//2)^2]dt=$
$ = 1/a 2/sqrt(\pi) exp(-{a^2}/4)\int_0^{x-a//2} exp[-u^2]du=1/a exp(-{a^2}/4) erf(x-a//2).$
Ora mettendo assieme il tutto, ecco la primitiva promessa
$F(x)-=\int_0^xe^{at}erf(t)dt=1/a [erf(x)exp(ax)-exp(-{a^2}/4) erf(x-a//2)].$ FATTO!
Qualcosa da ridire, San Tommaso!?

[_luca.barletta]

Hai idea di cosa significa "esprimere in forma chiusa"?

[Sk_Anonymous]

Ti lamenti perchè nella risposta figura erf(x) ? Così non è una formula "chiusa"?
Mi sa che hai una mente un po' "chiusa" se non consideri erf(x) una funzione come sin(x) o cos(x).
Se non lo sai, te lo dico io: ormai (ma da un secolo!) erf(x) fa parte del bagaglio delle funzioni considerate acquisite (cfr. Abramowitz & Stegun per la sua tabulazione dettagliata o l'Appendice di qualsiasi testo di Statistica).

Ora hai tutta l'aria di prendere delle scuse per non ammettere di aver perso la sfida...., una sfida che non sono stato io a lanciare (tu che ti chiami Barletta, dovresti ben intenderti di "disfide", ma dovresti essere più cauto prima di lanciarne una contro una persona tranquilla che sta solo cercando di rendersi utile).

[Sk_Anonymous]

Fra poco darò anche la soluzione del quesito originariamente posto da Gazza_86, cioè l'espressione esplicita della funzione di ripartizione della var. aleatoria Z.
Ora su due piedi non posso, perchè mi sto sbellicando dalle risate ...

[_luca.barletta]

"seascoli":Ti lamenti perchè nella risposta figura erf(x) ? Così non è una formula "chiusa"?

sì

Se non lo sai, te lo dico io: ormai (ma da un secolo!) erf(x) fa parte del bagaglio delle funzioni considerate acquisite

E ora che me l'hai detto? Per me e per il restante 90% del mondo non è elementare.

Ora hai tutta l'aria di prendere delle scuse per non ammettere di aver perso la sfida

No, ma dico, stai parlando sul serio? Sei veramente infantile.

prima di lanciarne una contro una persona tranquilla che sta solo cercando di rendersi utile

sparando quelle baggianate sull'informazione mutua?

[Sk_Anonymous]

Ora cambi discorso? Tu mi avevi esplictamente accusato di aver riempito le mie formule di "inesattezze" ed "errori", che riguardavano il calcolo dell'integrale doppio, di aver "demandato ad altri un calcolo impossibile" perchè secondo te si poteva "esprimere in forma chiusa $\intexp(-at^2)erf(t)dt$"
(e ce credo!, questa è quasi nella forma $\int f(x)f'(x) dx$ e lo si può dare appena come esercizio elementare di Analisi 1)
ma "che non era possibile farlo con $\intexp(-at)erf(t)dt$".
Ora che sei stato smentito che fai? Non ti va di ammettere di avemi accusato ingiustamente di essere un "perecottaro"? Sposti la discussione su un altro argomento? Lasciami dire che stai tenendo un comportamento decisamente poco sportivo, per usare un eufemismo!
Circa il concetto di informazione mutua, se ben ricordi, avevo chiesto delucidazioni a Gazza_86 e non avevo preteso di intervenire con competenza. Sai leggere gli interventi?
Cionostante tu, dopo di me, hai dato la stessa mia risposta (cioè un bit in più, lo sai che log(2) in base 2 vale 1?)
E meno male che sei un "moderatore"!

[_luca.barletta]

"seascoli":Ora cambi discorso?

???

Tu mi avevi esplictamente accusato di aver riempito le mie formule di "inesattezze" ed "errori"

Lo ribadisco, basta leggere attentamente quello che hai scritto.

Circa il concetto di informazione mutua, se ben ricordi, avevo chiesto delucidazioni a Gazza_86 e non avevo preteso di intervenire con competenza. Sai leggere gli interventi?
Cionostante tu, dopo di me, hai dato la stessa mia risposta (cioè un bit in più, lo sai che log(2) in base 2 vale 1?)
E meno male che sei un "moderatore"!

Si vede che quello che non legge bene gli interventi sei tu: non ho certo dato la tua stessa risposta a quella domanda, anzi direi che ho risposto l'opposto.
E visto che sono anche "moderatore" metto fine a questa inutile discussione.