Spazio di Probabilità per infinite variabili bernoulli indipendenti

[wanderer1]

Ciao a tutti,
sto seguendo all'università un corso di probabilità, e nell'ultima lezione la professoressa ha enunciato e dimostrato la legge dei grandi numeri (forte e debole). Poi ha portato come esempio la sequenza infinita di lanci della moneta. Questo esempio, che è stato presentato per avere un'idea intuitiva della legge, però mi ha fatto riflettere. Infatti per me la legge dei grandi numeri, fino ad adesso, è sempre stata (a grandi linee) "se lanci una moneta un numero molto grande di volte, la media dei lanci si avvicina sempre di più a 1/2". Alla base di questa idea soggiace però una visione fondamentalmente frequentista della probabilità, e pertanto mi è venuta la curiosità di proiettare questa intuizione nell'ambito formale della teoria della probabilità come l'abbiamo studiata.
La legge forte dei grandi numeri in questo caso si applica in tal modo:

Data una successione $X_i, i \in \mathbb(N)$ di variabili aleatorie di bernoulli indipendenti nello spazio di probabilità $(Omega, \mathfrak(F), mathbb(P))$. Data la successione di variabili aleatorie:
$bar(X_n) = 1/n sum_(i = 1)^n X_i$
Si ha:
$lim_n bar(X_n) rarr 1/2$ q.o.

Ora, io vorrei studiare questo enunciato particolare costruendo direttamente lo spazio di probabilità di partenza ed esplicitando le variabili aleatorie di bernoulli.
Lo spazio ${0, 1}$ già non può contenere due variabili di bernoulli indipendenti (facile da verificare), e suppongo che qualsiasi spazio di cardinalità finita non possa costituire il dominio di una quantità numerabile di variabili aleatorie di bernoulli indipendenti (non l'ho dimostrato ma penso sia ragionevole supporlo). Quindi l'insieme dove voglio costruire la struttura di spazio di probabilità è lo spazio ${0,1}^mathbb(N) $, l'insieme delle successioni di numeri binari (che ha la cardinalità del continuo) e come algebra ci metto l'insieme delle parti. La misura di probabilità me la sono costruita in un modo particolare, partendo dal caso finito.

Nel caso in cui dovessi costruire uno spazio atto a contenere un numero finito $n$ di variabili aleatorie di bernoulli indipendenti lo farei in tal modo:

Poniamo $Omega_n = {0,1}^n$,
lo spazio (prodotto) sarebbe $(Omega_n, \mathfrak(P)(Omega_n), mathbb(P)_n)$, con $mathbb(P)_n({omega}) = 1/2^n$
e le variabili aleatorie sarebbero $X_i(omega) = omega_i$ per $i=1 ... n$

Ora per $n$ infinito ovviamente non vi è un'estensione diretta di questa struttura, però possono calcolarmi la probabilità di un insieme nello spazio delle successioni come limite della probabilità che avrebbe se proiettato in questi spazi $Omega_n$. Per proiezione di un insieme $A$ di $Omega$ in $Omega_n$ intendo questo:

$Pr_n(A) = {(omega_1, omega_2, ... , omega_n) in Omega_n | omega in A} sube Omega_n $

Pertanto si avrebbe (nello spazio $Omega$):

$mathbb(P) (A) = lim_{n rarr oo} mathbb(P)_n (Pr_n(A)) = lim_{n rarr oo} |Pr_n(A)| / 2^n$ dove con $|Pr_n(A)|$ intendo la cardinalità della proiezione.

Ora, se questa fosse davvero una misura di probabilità, e pertanto lo spazio $(Omega, \mathfrak(P)(Omega), mathbb(P))$ fosse ben definito, avremmo come successione di variabili di bernoulli le funzioni definite semplicemente come i-esima proiezione della successione:
$X_i(omega) = omega_i, i in mathbb(N)$ (che siano effettivamente delle variabili di bernoulli e che siano indipendenti è di facile verifica)

E la variabile $bar(X_k)$ che compare nell'enunciato sarebbe:
$bar(X_k)(omega) = 1/n sum_(i = 1)^n omega_i$ ovvero la media delle primi n valori della successione.
Questa sarebbe proprio la costruzione che stavo cercando.

Per ultimare la costruzione bisognerebbe dimostrare che la funzione $mathbb(P)$ sia effettivamente una misura.
Io sono riuscito a dimostrare che è sempre ben definita, in quanto la successione $|Pr_n(A)| / 2^n$ è decrescente (debolmente) e sempre maggiore di 0, pertanto ammette limite. Il problema sta nel dimostrare che è sigma-additiva, o anche solo additiva. Mi sono cimentato un po' e l'unica cosa che ho capito è che entra in gioco il fatto che due insiemi di questo spazio aventi misura strettamente maggiore di 0 hanno necessariamente la cardinalità del continuo (intuizione che non ho dimostrato). La domanda che pongo pertanto è:
La $mathbb(P)$ che ho definito, è una misura?
Ha un senso questa cosa che ho fatto?

Grazie a tutti

[dissonance]

Ho letto diagonalmente e non ho controllato i dettagli, però l'idea è sicuramente giusta. La costruzione che stai facendo è questa;

https://en.wikipedia.org/wiki/Product_measure

e questa costruzione si può fare anche per una infinità di misure *di probabilità* (se non sono misure di probabilità, non si può fare: nota di approfondimento).

In questo post tu hai costruito un prodotto finito. Per passare al prodotto infinito, mi ricordo che, in astratto, si usano dei teoremi di estensione, tutte macchine piuttosto complicate. Alla fine si dimostra che esiste una unica misura di probabilità \(P\) sul prodotto \(\Omega_1\times \Omega_2\times \ldots\) tale che la misura dei prodotti cartesiani è uguale al prodotto delle misure, ovvero
\[\tag{1}
P(A_1\times A_2\times \ldots) =\prod_{n=1}^\infty P_n(A_n).\]
(E qui si vede che le misure devono essere di probabilità, altrimenti \(P_n(A_n)\) potrebbe essere maggiore di 1, e il prodotto di infiniti fattori maggiori di 1 può divergere).

La misura \(P\) che tu hai definito verifica la proprietà (1), direi (ti prego di verificarlo). E quindi essa è necessariamente la *vera* misura prodotto.

Se ti interessa possiamo parlarne ancora.

[Bremen000]

Io ho fatto la tesi triennale su questa cosa. Secondo me l'idea della costruzione è corretta (quelli che chiami proiezioni vengono chiamati cilindri), formalizzarla per bene coinvolge però dei teoremoni, come dice dissonance.
In particolare quello che ti serve è (se vuoi essere molto generale) il cosiddetto teorema di esistenza di Kolmogorov, oppure se ti basta per v.a. discrete ci sono costruzioni più facili.
Ho diverse referenze su questo argomento (oltre alla mia tesi che guardata a anni di distanza non mi piace molto).
Non voglio certo scavalcare dissonance che sicuramente ne sa più di me.

[dissonance]

"Bremen000":
Non voglio certo scavalcare dissonance che sicuramente ne sa più di me.

Ma scherzi, fatti pure avanti, anche a me interessa, magari è la volta buona che ci capisco qualcosa di probabilità.

[Bremen000]

Con il benestare di dissonance allora dico più o meno cosa si fa nel caso di variabili aleatorie a esisti finiti (come nel caso proposto da wanderer):

Supponiamo di avere un insieme $S$ non vuoto e di cardinalità finita e di avere uno spazio di probabilità \( (S, \mathcal{P}(S), p ) \). La domanda che ti sei posto è

Esistono una sigma algebra $\mathcal{C}$ su $S^{\infty} := S^{\mathbb{N}}$ e una misura di probabilità $P$ su \( ( S^{\infty}, \mathcal{C}) \) tali che \( P(u_1, \dots, u_n, S, S, \dots ) = p(u_1, \dots, u_n) \) per ogni \( (u_1, \dots, u_n) \in S^n \) e per ogni \( n \in \mathbb{N} \)?

Risposta sintetica: sì. In questa maniera uno può giustificare l'esistenza di successioni di variabili aleatorie i.i.d. a esisti finiti.

Risposta estesa:

E' chiaro da come è formulata la domanda che la sigma algebra $\mathcal{C}$ deve contenere almeno gli insiemi del tipo
\[ U \times S \times S \times ... \quad \quad U \subset S^n \quad \quad \text{per qualche } n \in \mathbb{N} \]
tali insiemi vengono detti "cilindri di base $U$". Il caso vuole che l'insieme dei cilindri di base qualsiasi $\mathcal{C}_0$ sia un'algebra (facile dimostrazione). Questo è fantastico perché una volta che uno costruisce una probabilità su questa algebra (per il noto teorema di estensione) ne esiste unica estensione alla sigma algebra generata da \( \mathcal{C}_0 \) (che sarà la nostra \( \mathcal{C} \) ). La scelta ovvia è definire sull'algebra dei cilindri
\[ \overline{P}(C) = \sum_{u \in U} p(u_1) \cdot \dots \cdot p(u_n) \quad \quad (1)\]
per ogni $C$ cilindro di base $U \subset S^n$ per qualche \( n \in \mathbb{N} \).
Già qua un primo problema è quello della consistenza perché un cilindro può non avere rappresentazione unica.
Sistemato questo, se $\overline{P}$ fosse in effetti una probabilità sull'algebra $\mathcal{C}_0$, allora sarebbe proprio quella che stiamo cercando e saremmo tutti felici (anche la sua estensione a $\mathcal{C}$ soddisferebbe infatti la (1) ).
Immediato (o quasi) è far vedere che è normalizzata e semplicemente additiva (c'è sempre la questione della rappresentazione dei cilindri che dà un po' fastidio).
Resta quindi da dimostrare che in effetti $\overline{P}$ sia sigma-additiva su $\mathcal{C}_0$. Questo si fa per mezzo del seguente

Teorema
Sia \( \Omega \) un insieme non vuoto e sia \( \mathcal{A} \) un’algebra su \( \Omega \). Sia \( q : \mathcal{A} \to [0,1] \) una funzione semplicemente additiva e normalizzata. Allora le seguenti condizioni sono equivalenti

(i) $q$ è sigma additiva su $\mathcal{A}$;

(ii) Se \( \{ A_n \}_{n \ge 1} \subset \mathcal{A} \) e \( A_n \downarrow \emptyset \) , allora \( q(A_n) \to 0 \).

Quindi basta mostrare che la nostra \( \overline{P} \) soddisfa (ii):
per assurdo esista \( \{ A_n \}_{n \ge 1} \subset \mathcal{C}_0 \) tale che $A_n \downarrow \emptyset$ e $ \neg ( \overline{P}(A_n) \rightarrow 0 )$; allora $\exists \epsilon >0 : \overline{P}(A_n) \ge \epsilon > 0 \, \forall n $.
Dunque \( A_n \neq \emptyset \, \forall n \overset{(\ast)}{\Rightarrow} A_n \downarrow \emptyset \) che è assurdo.

Dove nel passaggio ($\ast$) si è fatto ricorso al seguente Lemma. Questo è il vero cuore pulsante di tutta la dimostrazione ed è la parte realmente complicata

Lemma
Sia \( \{A_n\}_{n \ge 1} \subset \mathcal{C}_0 \, , \, A_n \neq \emptyset \, \forall n \) e valga \( A_n \downarrow A \).
Allora \( A \neq \emptyset \).

Se uno conosce la topologia generale questo si fa immediatamente con il teorema di Tychonoff, altrimenti (come ho fatto io all'epoca) si può dimostrare con successioni e sottosuccessioni con un procedimento simil diagonale tipo Ascoli-Arzelà versione Tychonoff-free.

Una volta che hai la validità del Lemma hai dimostrato che \( \overline{P} \) soddisfa (ii) e quindi è una probabilità su \( \mathcal{C}_0 \) . La sua estensione $P$ a \( \mathcal{C} \) è la probabilità che stiamo cercando. Abbiamo dunque ultimato la costruzione di \( (S^{\infty}, \mathcal{C}, P) \).

Questo fatto però stuzzica l'appetito del probabilista medio che quindi si domanda

Dato $T$ un insieme non vuoto e una famiglia di distribuzioni di probabilità \( \{ \mu_{t_1, \dots, t_k} \mid t_1, \dots , t_k \in T \, , \, k \in \mathbb{N} \} \) ognuna sui boreliani di $\mathbb{R}^k$, esistono uno spazio di probabilità \( (\Omega, \mathcal{A}, P) \) e un processo stocastico $ \{ X(t) \}_{t \in T}$ su di esso che abbia come distribuzioni finito dimensionali quelle date?

Io non so quando wanderer sia familiare con i concetti di processo stocastico e di distribuzione finito dimensionale quindi allego le definizioni:

Definizione (Processo stocastico)[nota]Questa NON è la vera definizione di processo stocastico. Innanzitutto non prende valori un uno spazio sufficientemente generale e poi manca la nozione di filtrazione, che è molto importante; ma per gli scopi di questo post va bene così.[/nota]
Sia \( \Omega \) un insieme non vuoto e sia \( (\Omega, \mathcal{A}, P) \) uno spazio di probabilità; sia $T$ un insieme non vuoto. Diciamo che \( \{ X(t) \}_{t \in T} \) è un processo stocastico su \( (\Omega, \mathcal{A}, P) \) se per ogni $t \in T$ si ha che $X(t)$ è una variabile aleatoria reale definita su \( (\Omega, \mathcal{A}, P) \).

Definizione (Distribuzione finito dimensionale)
Sia \( \{ X(t) \}_{t \in T} \) un processo stocastico sullo spazio di probabilità \( (\Omega, \mathcal{A}, P) \). Definiamo per ogni possibile scelta di \( t_1, \dots, t_k \in T \) e di \( k \in \mathbb{N} \) le misure di probabilità sui boreliani di \( \mathbb{R}^k \) date da
\[ \mu_{t_1, \dots, t_k } (B) = P ( (X_{t_1}, \dots, X_{t_k}) \in B ) \]
esse sono dette "distribuzioni finito dimensionali del processo stocastico \( \{ X(t) \}_{t \in T} \)".

Questa seconda domanda è una diretta generalizzazione della prima: innanzitutto stiamo considerando come insieme delle immagini delle variabili aleatorie non più un insieme finito ma $\mathbb{R}$ e inoltre non stiamo assumendo l'indipendenza della v.a. . Ancora di più, l'insieme con cui le indicizziamo può avere qualsiasi cadinalità.

Anche in questo caso la riposta è sì (modulo qualche tecnicalità, insomma le distribuzioni finito dimensionali devono essere decenti). La dimostrazione segue esattamente gli step di quella precedente. Si intuisce facilmente che però il fatto che non ci sia più un insieme delle immagini finito crei qualche problema. Anche qua con Tychonoff si taglia metà della dimostrazione, che comunque rimane bella corposa.

Ultima nota che può interessare a qualcuno che conosce un po' i processi stocastici:
Come nel primo teorema, quando si dimostra il secondo, si costruisce un esempio specifico di spazio di probabilità cioè \( ( \mathbb{R}^T, \mathcal{R}^T, P ) \) dove \( \mathcal{R}^T \) è un'opportuna sigma algebra. Purtroppo essa non contiene l'insieme delle funzioni continue. Ed è un bel problema perché molti processi stocastici (tipo moto Browniano) richiedono di essere continui. Allora bisogna sviluppare un po' la teoria dei processi stocastici e far vedere che esiste una cosiddetta modificazione continua del moto Browniano, per esempio.

Tutte queste cose si possono trovare nel libro di Billingsley, Probability and Measure. Proprio un bel tomo.


Mi scuso per il muro di testo, spero che questo soddisfi un po' la curiosità di entrambi

[Raptorista1]

[xdom="Raptorista"]Sposto da Analisi superiore.[/xdom]

[wanderer1]

Grazie ad entrambi!