Stima OLS

[Soleyka]

Ciao a tutti, ho un esame a breve e molti dubbi, non sapendo a chi chiedere, provo qui:
Sotto quale ipotesi gli stimatori OLS sono distorti anche asintoticamente?
Grazie in anticipo per eventuali risposte.

[markowitz]

"Soleyka":Ciao a tutti, ho un esame a breve e molti dubbi, non sapendo a chi chiedere, provo qui:
Sotto quale ipotesi gli stimatori OLS sono distorti anche asintoticamente?
Grazie in anticipo per eventuali risposte.

Solitamente le condizioni che interessano sono quelle secondo cui gli stimatori sono non distorti, non il contrario. Più in generale le condizioni che solitamente si chiedono sono quelle secondo cui la condizione desiderabile e vera, non viceversa.

Comunque wiki offre buone indicazioni riguardo tue domande.

Le ipotesi OLS possono essere presentate in più di un modo che dipende anche dal contesto e dal livello di generalità che si desidera. Per avere un'idea puoi guardare qui:
https://it.wikipedia.org/wiki/Regressione_lineare

"Sergio":Per quello che so (soprattutto: per quello che ricordo) uno stimatore distorto rimane tale anche asintoticamente. In altri termini, la consistenza non esclude la distorsione.
Quindi tutto quello che può rendere distorto uno stimatore OLS (eteroschedasticità, variabili omesse, autocorrelazione ecc.) lo distorce anche asintoticamente.

La questione non è semplice. Bisogna fare i conti con almeno tre concetti: correttezza, correttezza asintotica, consistenza. Gli ultimi due concetti sono simili ma non uguali.
Come dice Sergio la consistenza non eslude la distorsione, anzi a volte si invoca la prima proprio perchè non è vera la seconda. Tuttavia, anche a causa della premessa che ho fatto, l'ultima non è una frase equivalente alla prima ("... uno stimatore distorto rimane tale anche asintoticamente). Questa affermazione non mi sembra vera. Allo stesso modo non mi sembra corretto quanto affermato nelle ultime due righe. Sicuramente non è vero che distorsione implichi sia inconsistenza che distorsione asintotica.

Ad esempio il problema dell'eteroschedasticità provoca la distorsione dello stimatore OLS nel modello di regressione lineare classico, tuttavia lo stimatore resta o consistente o asintoticamente corretto o entrambi.
Non ricordo esattamente (anche io vado un po a memoria ) comunque penso resti asintoticamente corretto perchè, se ricordo bene, consistenza (convergenza in probabilità) implica correttezza asintotica se la varianza dello stimatore è inversamente proporzionale alla numerosità del campione, ed è il caso della regressione.

Per le definizioni date un'occhio qui:
https://it.wikipedia.org/wiki/Bias_(statistica)
https://it.wikipedia.org/wiki/Consistenza_(statistica)

N.B: ciao Sergio, come va? E' un pezzo che non ci si "incontrava"

[Soleyka]

Ringrazio entrambi per le risposte anche se non credo di aver trovato la soluzione al quesito. Grazie ancora

[markowitz]

"Sergio":[quote="markowitz"]se ricordo bene, consistenza (convergenza in probabilità) implica correttezza asintotica se la varianza dello stimatore è inversamente proporzionale alla numerosità del campione, ed è il caso della regressione.

Sto cercando di combattere la mia ruggine e non è detto che stia vincendo io, ma direi che è il contrario: uno stimatore asintoticamente corretto è anche consistente se la varianza tende a zero all'aumentare della numerosità del campione.
[/quote]

Mi ero spiegato un po di fretta, provo a spiegarmi meglio. In generale consistenza e correttezza asintotica non sono sinonimi anche se a volte si lasciano intendere come tali; ed in generale l'una non implica l'altra. Questo è un fatto che mi era stato fatto presente da un ragazzo che mi sembrava capirne di statistica teorica. La "conclusione" a cui eravamo arrivati è che se la varianza dello stimatore, grandezza non presa direttamente in considerazione ne per la consistenza ne per la correttezza asintotica, è inversamente proporzionale ad $n$, circostanza tipica per gli stimatori più usati, le due proprietà si implicano a vicenda; in altre parole diventano sinonimi. Anche da qui l'interscambio a volte un po ambiguo delle due caratteristiche. Se questa storia e vera, e non garantisco, quello che hai scritto tu è complementare a quello che ho scritto io; le due cose non si contraddicono. Ho provato a cercar qualcosa ed effettivamente in Greene (7-ma edizioe) pag 1128 è scritto un paragrafo sul punto in questione; sono considerate addirittura tre definizioni e non due. Comunque sia, tra le altre cose è affermato: "In most cases encountered in practice, the estimator in hand will have all three properties, so there is no ambiguity".
Da parte mia, almeno per adesso, lascio perdere i dettagli è, da qui in poi, faccio riferimento solo ai "most cases encountered in practice".

"Sergio":
... (correzioni benvenute!).
Si parte da \[\hat\beta=(X^TX)^{-1}X^Ty=\beta+\left(\sum_{i=1}^nx_ix_i^T\right)^{-1}\left(\sum_{i=1}^nx_iu_i\right)\tag{1}\]si considera la successione \(\hat\beta_n=\beta+\left(\frac{(\sum_{i=1}^nx_ix_i^T}{n}\right)^{-1}\left(\frac{n^{-1}\sum_{i=1}^nx_iu_i}{n}\right)\)

Mi sembra che nella seconda parentesi vi sia un $n^-1$ di troppo a numeratore ma è solo un refuso.

"Soleyka":Ringrazio entrambi per le risposte anche se non credo di aver trovato la soluzione al quesito.
(Sotto quale ipotesi gli stimatori OLS sono distorti anche asintoticamente?)

Prego. Il problema è che il tema è molto ampio e non è facile "calibrare" una risposta senza avere un quadro più circoscritto; quello in cui tu ti stai muovendo.
In generale basta che cada una delle ipotesi OLS di teoria asintotica e non hai più stimatori consistenti. Le trovi in molti manuali ed anche online (i link che ti abbiamo girato possono esserti utili anche se effettivamente una risposta "pronta e puntuale" potrebbe non esserci) ma se stai preparando un esame ti consiglio di fare riferimento al materiale indicato dal tuo Prof.
In ultimo, la parola "anche" che hai utilizzato nella tua domanda mi lascia intendere che ti interessa ragionare sulle differenze nelle condizioni che garantiscono la correttezza e la consistenza. L'esposizione di Sergio è buona ma non lascia emergere chiaramente queste differenze. Evitando dettagli ... la consistenza è una condizione meno stringente della correttezza e, quindi, è più credibile nei casi reali. In altri termini, almeno nei casi che solitamente interessano, correttezza implica consistenza ma non è vero il viceversa. E' per questo che, a volte, si considera la teoria asintotica e, quindi, la consistenza come caso standard.
Ad esempio, in ambiente OLS, per la correttezza è necessaria la sfericità dei termini d'errore (no eteroschedasticità e no autocorrelazione) per la consistenza è una condizione rilassabile.
Comunque l'ipotesi principale è l'esogeneità, che per la correttezza è nella forma $E[e_i|X_j]=0$ per ogni coppia $i,j$ che vanno da $1$ ad $n$ ($X_j$ vettore kx1); questa condizione è molto forte. Per la consistenza è sufficiente una esogeneità nella forma $E[e_i|X_i]=0$ per $i$ che va da $1$ ad $n$ che è molto più blanda della precedente (no condizioni incrociate). Tuttavia se anche l'ultima non regge, allora gli stimatori OLS non sono neppure consistenti.

I problemi più comuni sono quelli indicati da Sergio ed hanno un ruolo sia in relazione alla non correttezza che alla non consistenza.

[Soleyka]

Comincio col ringraziare di nuovo entrambi!
Purtroppo faccio già difficoltà con la materia in sè, il professore si è dimostrato poco disponibile, inoltre ci ha messo a disposizione una dispensa fatta da lui, piuttosto sommaria, quindi mi è difficile rispondere a queste domande che lui stesso ha formulato.
Adesso provo a rileggere le vostre spiegazioni, aiutandomi anche con il materiale linkato, e vedo di elaborare una qualche risposta.
Grazie!

[Soleyka]

"Sergio": Ti chiederei di chiarire anche che corso stai seguendo e magari anche a che livello.

Corso di Statistica per i mercati finanziari, secondo anno di specialistica in Economia, Finanza e Mercati.

[Soleyka]

"Sergio":[quote="Soleyka"]Corso di Statistica per i mercati finanziari, secondo anno di specialistica in Economia, Finanza e Mercati.

Direi che il corso richiede qualche propedeuticità e che dovrai fare spesso i conti con autocorrelazione e eteroschedasticità.
Assumo che per "distorsione asintotica" si intenda "non consistenza", come in effetti spesso si intende.[nota]Maddala, Introduction to Econometrics, p. 25, diceva che gli econometrici discutono spesso di "correttezza asintotica" (e ne dà una sua definizione), ma era il 1977. Nel glossario di Wooldridge, Introductory Econometrics. A Modern Approach, alla voce "Asymptotic Bias" si legge: "see inconsistency".[/nota]
E allora la risposta è: lo stimatore OLS è distorto asintoticamente (= non consistente) se tra le variabili esplicative ci sono valori ritardati della variabile risposta e se l'errore non solo è autocorrelato, ma segue un modello AR(1) stabile (Wooldridge, Introductory Econometrics. A Modern Approach, §12.1, pp. 378-379).
Una risposta più agile (non so quanto sei addentro ai modelli AR e simili, che ora come ora anche io ricordo poco) è quindi quella che ti avevo dato: quando l'assunto \(\mathbb{E}[xu]=0\) viene violato.[/quote]

Grazie mille! Penso di aver capito il ragionamento
ho altre due domande a cui non riesco a dare risposta, le scrivo nel caso potesse aiutarmi ulteriormente (senza impegno e ringraziandola in anticipo!)
- Perchè gli stimatori delle intercette nel modello within sono inconsistenti?
- Perchè nell'analisi dei residui sull'asse delle ascisse è più opportuno rappresentare le variabili $x_j$?

[Soleyka]

"Sergio":Francamente non capisco. Se intendi il modello a effetti fissi, non mi pare di averla mai sentita.

sì, modello ad effetti fissi con lo stimatore within

"Sergio":Anche qui non capisco: cosa sono le variabili $x_j$? Sono abituato a grafici con i residui (eventualmente "studentizzati") sulle ordinate e sulle ascisse i valori teorici oppure gli elementi della diagonale della matrice $H=X(X^TX)^{-1}X^T$.

$x_j$ credo siano i valori delle variabili indipendenti

[Soleyka]

"Sergio":[quote="Soleyka"][quote="Sergio"]Francamente non capisco. Se intendi il modello a effetti fissi, non mi pare di averla mai sentita.

sì, modello ad effetti fissi con lo stimatore within[/quote]
Devo rinfrescarmi un po' la memoria su quei modelli e questi non sono i giorni più adatti
Tornerò sull'argomento tra breve.

"Soleyka":[quote="Sergio"]Anche qui non capisco: cosa sono le variabili $x_j$? Sono abituato a grafici con i residui (eventualmente "studentizzati") sulle ordinate e sulle ascisse i valori teorici oppure gli elementi della diagonale della matrice $H=X(X^TX)^{-1}X^T$.

$x_j$ credo siano i valori delle variabili indipendenti[/quote]
Normalmente si usano grafici dei residui vs i valori teorici (o i quantili della distribuzione normale).
Grafici dei residui vs le variabili esplicative (indipendenti) possono essere usati per verificare l'adeguatezza del modello, cioè se si richiede o no una loro trasformazione, in concreto: se si può usare un modello del primo ordine come $y=beta_0 + beta_1 x_1 + beta_2 x_2 + e$ oppure se è preferibile un modello diverso come $y=beta_0 + beta_1 x_1 + beta_2 x_2^2 + e$. A questo scopo, peraltro, si usano anche grafici di dispersione (scatter plot) della variable risposta contro le variabli esplicative.[/quote]

Queste due domande sono troppo complicate da comprendere (così come formulate dal prof) mi sa, grazie mille lo stesso!