Goodness of Fit Test
Buongiorno,
in un esperienza di laboratorio ci è stato chiesto di generare un campione di dati estratti da distribuzione di Poisson e dimostrare che all'aumentare del parametro della distribuzione \(\displaystyle \alpha \) l'approssimazione a distribuzione Normale con \(\displaystyle \mu = \alpha\) e \(\displaystyle \sigma^2 = \alpha \) migliora. Per tale fine ci è stato chiesto di utilizzare una differenza tra chi-quadrati, uno fatto rispetto alla Poisson teorica e l'altro rispetto alla Normale teorica. Fin qui tutto chiaro: il mio intento era quello di provare a dimostrare (sempre che sia vero) che tale criterio deriva dal rapporto delle massime verosimiglianze. Tuttavia non riesco nel mio intento. Infatti dal rapporto delle due Likelihood
\(\displaystyle \lambda = \frac{L(x | Poisson)}{L(x | Gauss)} \)
prendendo il logaritmo di entrambi i membri ottengo
\(\displaystyle \ln \lambda = \ln(L(x | Poisson)) - ln(L(x | Gauss)) \)
Per quanto riguarda il secondo membro riesco a dimostrare che assume la forma di un chi-quadrato, ma per il primo proprio non riesco a ricondurmi ad una forma che possa ricordarmi un chi-quadrato.
Sapreste aiutarmi?
Ringrazio in anticipo
in un esperienza di laboratorio ci è stato chiesto di generare un campione di dati estratti da distribuzione di Poisson e dimostrare che all'aumentare del parametro della distribuzione \(\displaystyle \alpha \) l'approssimazione a distribuzione Normale con \(\displaystyle \mu = \alpha\) e \(\displaystyle \sigma^2 = \alpha \) migliora. Per tale fine ci è stato chiesto di utilizzare una differenza tra chi-quadrati, uno fatto rispetto alla Poisson teorica e l'altro rispetto alla Normale teorica. Fin qui tutto chiaro: il mio intento era quello di provare a dimostrare (sempre che sia vero) che tale criterio deriva dal rapporto delle massime verosimiglianze. Tuttavia non riesco nel mio intento. Infatti dal rapporto delle due Likelihood
\(\displaystyle \lambda = \frac{L(x | Poisson)}{L(x | Gauss)} \)
prendendo il logaritmo di entrambi i membri ottengo
\(\displaystyle \ln \lambda = \ln(L(x | Poisson)) - ln(L(x | Gauss)) \)
Per quanto riguarda il secondo membro riesco a dimostrare che assume la forma di un chi-quadrato, ma per il primo proprio non riesco a ricondurmi ad una forma che possa ricordarmi un chi-quadrato.
Sapreste aiutarmi?
Ringrazio in anticipo
Risposte
"Matteo294":
in un esperienza di laboratorio ci è stato chiesto di generare un campione ... e dimostrare
generare un campione causale.....e verificare (è una verifica, non una dimostrazione) ecc ecc
Il rapporto delle verosimiglianze non c'entra nulla....occorre generare un campione casuale dalla suddetta distribuzione (di metodi generatori ce ne sono diversi) e verificare quanto richiesto.
Ecco cosa ti devi trovare....che all'aumentare del parametro della poisson la distribuzione tende ad una gaussiana (la curva rossa è la gaussiana di media e varianza $alpha$)...
(click per ingrandire)
Come si verifica questa proprietà? Con un classico test non parametrico di Goodness of Fit che sicuramente vi avranno spiegato: il chi-quadro (come richiesto) ma anche con altri test come ad esempio quello di Kolmogorov Smirnov
Ok innanzitutto ti ringrazio per la risposta... La procedura che tu hai descritto (che era quella richiesta) l'ho seguita, ma la mia domanda era se si potesse spiegare quel criterio a partire da quello delle massime verosigmiglianze, ma ok ho capito di no... Ad ogni modo ho provato anche il test di Kolmogorov-Smirnov ma non sono riuscito a ricavare risultati soddisfacenti, non so se sto sbagliando qualcosa ma dubito. Nel primo grafico c'è l'andamento dell'errore relativo dei chi quadri (ovvero \(\displaystyle \frac{\chi^2_{poiss} - \chi^2_{gauss}}{\chi^2_{poiss}} \)), mentre nel secondo il p-value ritornato dalla funzione di test Kolmogorov - Smirnov. E' normale che dia valori di probabilità così bassi?
Il test chi quadro che hai scritto
è totalmente sbagliato. Forse prima di affrontare certi importanti temi è necessario uno studio della teoria più approfondito; qui c'è un topic dove spiego l'idea della dimostrazione della nota formula, ma il test in oggetto lo trovi spiegato dovunque.
Come ho già detto, quanto richiesto non è una dimostrazione ma una semplice verifica...anzi è un classico test di verifica di ipotesi non parametrico dove l'ipotesi di lavoro è che la distribuzione segua una normale $N(theta;theta)$ completamente specificata e dove $theta$ è il parametro della poisson.
Tale verifica è del tutto inutile in quanto la proprietà in questione si può facilmente dimostrare in modo analitico sfruttando il Teorema del Limite Centrale.
Infatti, ricordando la proprietà di riproducibilità della Poisson[nota]che si dimostra anch'essa in in paio di semplici passaggi sfruttando le proprietà della Funzione Generatrice dei Momenti[/nota] sappiamo che la somma di $n$ poisson iid di parametro $theta$ è ancora una poisson di parametro $n theta$ e quindi per la variabile
vale la seguente convergenza
che, detto in altri termini:
dove $Z~N(0;1)$...che dimostra espressamente quanto qui si chiede solo di verificare.
Se vogliamo trovare qualche cosa di utile nell'esercizio, possiamo cercare il valore di $theta$ per il quale la distribuzione di poisson può già considerarsi gaussiana...già con $theta=10$ il test non è affatto significativo.
Per eseguire il test devi ovviamente ripassare meglio la teoria. Ecco il suddetto test per $theta=10$, generato un campione casuale semplice di ampiezza 100:
Un Chi-quadro di 3.97 con 4 gdl significa un Pvalue del 41% ....tieni presente che il chi quadro critico al 5% con 4 gdl viene 9.49
Utilizzando opportunamente il fattore di correzione per distribuzioni discrete, il Pvalue sale al 97% il che significa che con un parametro $theta=10$ abbiamo un'approssimazione gaussiana che coinicide con la distribuzione esatta.
Con un software adeguato ci vuole davvero poco a verificare che, aumentando (diminuendo) il parametro $theta$ della poisson, l'approssimazione con la gaussiana migliora (peggiora)
tieni presente che io non ho alcuno strumento informatico dedicato (faccio il contabile di mestiere) ed ho fatto tutti i conti con carta e penna
non citare ogni volta TUTTO il messaggio precedente...grazie
"Matteo294":
\(\displaystyle \frac{\chi^2_{poiss} - \chi^2_{gauss}}{\chi^2_{poiss}} \)
è totalmente sbagliato. Forse prima di affrontare certi importanti temi è necessario uno studio della teoria più approfondito; qui c'è un topic dove spiego l'idea della dimostrazione della nota formula, ma il test in oggetto lo trovi spiegato dovunque.
Come ho già detto, quanto richiesto non è una dimostrazione ma una semplice verifica...anzi è un classico test di verifica di ipotesi non parametrico dove l'ipotesi di lavoro è che la distribuzione segua una normale $N(theta;theta)$ completamente specificata e dove $theta$ è il parametro della poisson.
Tale verifica è del tutto inutile in quanto la proprietà in questione si può facilmente dimostrare in modo analitico sfruttando il Teorema del Limite Centrale.
Infatti, ricordando la proprietà di riproducibilità della Poisson[nota]che si dimostra anch'essa in in paio di semplici passaggi sfruttando le proprietà della Funzione Generatrice dei Momenti[/nota] sappiamo che la somma di $n$ poisson iid di parametro $theta$ è ancora una poisson di parametro $n theta$ e quindi per la variabile
$Z_n=(Sigma_i X_i-n theta)/sqrt(n theta)$
vale la seguente convergenza
$lim_(n rarr+oo)F_(Z_n)=Phi_((0;1))$
che, detto in altri termini:
${Z_n}\stackrel(" "mathcal(L)" ")rarrZ$
dove $Z~N(0;1)$...che dimostra espressamente quanto qui si chiede solo di verificare.
Se vogliamo trovare qualche cosa di utile nell'esercizio, possiamo cercare il valore di $theta$ per il quale la distribuzione di poisson può già considerarsi gaussiana...già con $theta=10$ il test non è affatto significativo.
Per eseguire il test devi ovviamente ripassare meglio la teoria. Ecco il suddetto test per $theta=10$, generato un campione casuale semplice di ampiezza 100:
| Intervalli | O | E | (O-E)^2/E |
|---|---|---|---|
| 7 | 5.69 | 0.30 | 5 |
| 20.66 | 1.94 | 8| 36 | |
| 0.00 | 11| 23 | 27.30 | |
| x>14 | 7 | 10.30 | 1.05 |
| 100 | 100 | 3.97 |
Un Chi-quadro di 3.97 con 4 gdl significa un Pvalue del 41% ....tieni presente che il chi quadro critico al 5% con 4 gdl viene 9.49
Utilizzando opportunamente il fattore di correzione per distribuzioni discrete, il Pvalue sale al 97% il che significa che con un parametro $theta=10$ abbiamo un'approssimazione gaussiana che coinicide con la distribuzione esatta.
Con un software adeguato ci vuole davvero poco a verificare che, aumentando (diminuendo) il parametro $theta$ della poisson, l'approssimazione con la gaussiana migliora (peggiora)
tieni presente che io non ho alcuno strumento informatico dedicato (faccio il contabile di mestiere) ed ho fatto tutti i conti con carta e penna
non citare ogni volta TUTTO il messaggio precedente...grazie
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo