Significato funzione di massima verosimiglianza
Sto studiando il metodo di massima verosimiglianza ma dopo aver letto più e più volte varie definizioni della funzione di massima verosimiglianza le mie idee sono alquanto confuse.
Vi fornisco i miei dubbi partendo da questa definizione che secondo me è quella più chiara:
Estraendo un campione costituito da n variabili casuali $X_i$ i.i.d. da una popolazione X con funzione di probabilità/densità $f(x, θ)$, si costruisce la funzione di verosimiglianza che rappresenta la funzione di probabilità/densità del campione stesso: in quest’ambito si ipotizza che essa sia funzione del vettore dei parametri θ, mentre le realizzazioni campionarie x_i sono fisse.
Analiticamente si ha perciò:
$L(x_1,x_2,..x_n;theta)=prod_(i = 1)^(n)f(x_i,theta)$
Non introduco il logaritmo nella funzione(che da quanto ho capito serve "solo" per semplificare il calcolo dello stimatore, in quanto è più facile calcolare la derivata della funzione di massima verosimiglianza).
Il metodo della massima verosimiglianza afferma in poche parole che il valore di $theta$ che rende massima la funzione $L(x_i,theta)$ è lo stimatore(Perchè???).
Dalla definizione (per variabili continue) la funzione di MV è una funzione di densità (del campione). Quindi l'integrale di un determinato intervallo dovrebbe darmi la probabilità che il campione assuma uno dei valori in quell'intervallo. Fissando il campione la funzione (supponendo che $theta$ sia un singolo parametro) posso rappresentarlo in un piano cartesiano a due dimensioni. Non riesco a capire intuitivamente il significato di questa funzione è perchè il suo valore massimo sia lo stimatore.
Vi fornisco i miei dubbi partendo da questa definizione che secondo me è quella più chiara:
Estraendo un campione costituito da n variabili casuali $X_i$ i.i.d. da una popolazione X con funzione di probabilità/densità $f(x, θ)$, si costruisce la funzione di verosimiglianza che rappresenta la funzione di probabilità/densità del campione stesso: in quest’ambito si ipotizza che essa sia funzione del vettore dei parametri θ, mentre le realizzazioni campionarie x_i sono fisse.
Analiticamente si ha perciò:
$L(x_1,x_2,..x_n;theta)=prod_(i = 1)^(n)f(x_i,theta)$
Non introduco il logaritmo nella funzione(che da quanto ho capito serve "solo" per semplificare il calcolo dello stimatore, in quanto è più facile calcolare la derivata della funzione di massima verosimiglianza).
Il metodo della massima verosimiglianza afferma in poche parole che il valore di $theta$ che rende massima la funzione $L(x_i,theta)$ è lo stimatore(Perchè???).
Dalla definizione (per variabili continue) la funzione di MV è una funzione di densità (del campione). Quindi l'integrale di un determinato intervallo dovrebbe darmi la probabilità che il campione assuma uno dei valori in quell'intervallo. Fissando il campione la funzione (supponendo che $theta$ sia un singolo parametro) posso rappresentarlo in un piano cartesiano a due dimensioni. Non riesco a capire intuitivamente il significato di questa funzione è perchè il suo valore massimo sia lo stimatore.
Risposte
Allora, partiamo dal fatto che funzione di densitá/probabilitá é una funzione della variabile $x$ e ha come parametro (che puó essere noto o incognito, ma in ogni caso é FISSATO) $\theta$.
La verosimiglianza si ottiene fissando un valore di $x$, che rappresenta l'osservazione dei dati che hai effettuato, ma considerando $\theta$ una variabile e NON PIÚ un parametro fissato, sembra una differenza piccola ma non lo é.
In pratica inverti i ruoli di $x$ e $\theta$.
Lo stimatore di massima verosimiglianza é quel valore di $\theta$ che rende massima la probabilitá/densitá di osservare $x$.
Pensa al caso di 4 lanci di una moneta, $\theta$ é la probabilitá che esca testa mentre $x$ é il numero di lanci con esito Testa.
Osservando $x=3$, qual é il valore di $\theta$ che massimizza la probabilitá che l'evento $x = 3$ si verifichi? É $\theta = 3/4$.
Puoi verificarlo calcolando $P(X = 3)$ e poi massimizzando rispetto a $\theta$
La verosimiglianza si ottiene fissando un valore di $x$, che rappresenta l'osservazione dei dati che hai effettuato, ma considerando $\theta$ una variabile e NON PIÚ un parametro fissato, sembra una differenza piccola ma non lo é.
In pratica inverti i ruoli di $x$ e $\theta$.
Lo stimatore di massima verosimiglianza é quel valore di $\theta$ che rende massima la probabilitá/densitá di osservare $x$.
Pensa al caso di 4 lanci di una moneta, $\theta$ é la probabilitá che esca testa mentre $x$ é il numero di lanci con esito Testa.
Osservando $x=3$, qual é il valore di $\theta$ che massimizza la probabilitá che l'evento $x = 3$ si verifichi? É $\theta = 3/4$.
Puoi verificarlo calcolando $P(X = 3)$ e poi massimizzando rispetto a $\theta$
"ezio1400":
Il metodo della massima verosimiglianza afferma in poche parole che il valore di $theta$ che rende massima la funzione $L(x_i,theta)$ è lo stimatore(Perchè???).
Attento, il valore $hat{theta} in Theta$, dove $Theta$ è lo spazio parametrico, tale che $L(hat{theta})=Sup L(theta)$, tra i valori $theta in Theta$ è detto stima di massima verosimiglianza, non è lo stimatore. Lo stimatore è generato al variare del campione estratto!
Inoltre non è detto che il massimo della funzione sia ottenibile analiticamente. In alcuni casi (ad esempio con una v.c. uniforme continua) devi procedere allo studio diretto della funzione.
La risposta che offre bassi0902 è uno dei modi migliori per capire ma se vogliamo provare, come piace a me, a generalizzare mantenendo il massimo della semplicità possiamo (mi sembra) anche dire che:
lo stimatore di massima verosimiglianza è “semplicemente” quel valore $tetha_0$ per cui $P(X| tetha = tetha_0)$ raggiunge il valore massimo.
Dove $X$ è la realizzazione (campione) della v.a. in analisi e $P()$ è la funzione di probabilità/densità che la caratterizza.
La tecnica di stima mira proprio a trovare quel “massimo” e tale valore per $tetha$ è prorpio quello che rende più “verosimili” i dati rispetto al modello $P()$ ipotizzato. Tutto qui.
Gli avvertimenti di cui parla momo1 mettono in guardia dal fatto che, matematicamente parlando, il problema potrebbe presentare vari ostacoli.
lo stimatore di massima verosimiglianza è “semplicemente” quel valore $tetha_0$ per cui $P(X| tetha = tetha_0)$ raggiunge il valore massimo.
Dove $X$ è la realizzazione (campione) della v.a. in analisi e $P()$ è la funzione di probabilità/densità che la caratterizza.
La tecnica di stima mira proprio a trovare quel “massimo” e tale valore per $tetha$ è prorpio quello che rende più “verosimili” i dati rispetto al modello $P()$ ipotizzato. Tutto qui.
Gli avvertimenti di cui parla momo1 mettono in guardia dal fatto che, matematicamente parlando, il problema potrebbe presentare vari ostacoli.
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo