Fare previsioni delle temperature
Ragazzi sono iscritto ad economia quindi non ho una grandissima conoscenza matematica ma all'università stiamo facendo un lavoro ceh mi sta appassionando molto.PRaticamente stiamo facendo un compito dove calcoliamo l'andamento delle temperature nella provincia di messina.Finora tutto è andato bene ma siamo ad un punto "morto" infatti dobbiamo fare le "previsioni".Ipoteticamente abbiamo i dati di dicembre e usando l'adattamento di funzione vogliamo estrapolare per trovare i dati di gennaio 2010.
Purtroppo dal grafico non riusciamo a capire quale funzione teorica dobbiamo utilizzare.Dopo che determiniamo la funzione attraverso i minimi quadrati vorremmo trovare i parametri della nostra funzione teorica e poi trovare i dati teorici...
PS:sottolineo il fatto che noi dobbiamo fare la previsione delle temperature di gennaio 2010 partendo da dicembre 2009.Abbiamo scelto mesi dei quali sappiamo già le temperature solo per poter controllare i risultati....
qua potete trovare i dati di partenza
http://www.ilmeteo.it/portale/archivio- ... 9/Dicembre
Purtroppo dal grafico non riusciamo a capire quale funzione teorica dobbiamo utilizzare.Dopo che determiniamo la funzione attraverso i minimi quadrati vorremmo trovare i parametri della nostra funzione teorica e poi trovare i dati teorici...
PS:sottolineo il fatto che noi dobbiamo fare la previsione delle temperature di gennaio 2010 partendo da dicembre 2009.Abbiamo scelto mesi dei quali sappiamo già le temperature solo per poter controllare i risultati....
qua potete trovare i dati di partenza
http://www.ilmeteo.it/portale/archivio- ... 9/Dicembre
Risposte
Ciao,
a mio parere 30 osservazioni sono pochine, soprattutto perché stiamo parlando di serie storiche. Io ti consiglio di aumentare il training set ad almeno 80 osservazioni, poi da qui possiamo fare molti ragionamenti.
Da quello che dici vuoi prevedere Gennaio 2009: però fare previsioni 30 passi in avanti è un rischio. Io al massimo mi spingo 2 o 3 passi in avanti e poi aggiorno con i valori reali. Nel tuo caso mi spingerei al massimo di una settimana.
Comunque ora vedo il link che hai postato e ne riparliamo.
a mio parere 30 osservazioni sono pochine, soprattutto perché stiamo parlando di serie storiche. Io ti consiglio di aumentare il training set ad almeno 80 osservazioni, poi da qui possiamo fare molti ragionamenti.
Da quello che dici vuoi prevedere Gennaio 2009: però fare previsioni 30 passi in avanti è un rischio. Io al massimo mi spingo 2 o 3 passi in avanti e poi aggiorno con i valori reali. Nel tuo caso mi spingerei al massimo di una settimana.
Comunque ora vedo il link che hai postato e ne riparliamo.
Ho scaricato i dati dal Gennaio 2009. Ho notato che nel mese di Dicembre ci sono due dati mancanti: dato che vorresti usare solo questo mese, come hai risolto il problema?
"olaxgabry":
Ho scaricato i dati dal Gennaio 2009. Ho notato che nel mese di Dicembre ci sono due dati mancanti: dato che vorresti usare solo questo mese, come hai risolto il problema?
Noi abbiamo fatto il lavoro su tutto il 2009;) però le previsioni le vorremmo fare solo su dicembre...il mese di dicembre non l'ho fatto io ma mi sono accorto ora che mancano due dati e mi sono accorto che il mio collega piuttosto che calcolarli con l'interpolazione li ha messi a caso:(....questo mi ha fatto imbestialire...
Per rendere il tutto più attendibile noi volevamo calcolare solo i primi tre giorni di gennaio 2010 se no poi l'errore statistico sarebbe stato enome...
Comunque il problema di base è che il sistema dell'estrapolazione che noi facciamo ad economia è troppo rozzo e primitivo...
Praticamente ti dico quello che facciamo.
1)Rappresentazione grafica dei dati per comprendere il tipo di funzione(se lineare o esponenziale)
2)minimi quadrati per trovare i parametri della funzione teorica
3) usiamo funzione toerica per determinare le temperature teoriche
il problema è che dal grafico non riusciamo a capire di che funzioni teorica si tratti...(ngli esercizi che abbiamo fatto di solito usiamo molto più facili).....
PS:in ogni caso analiziamo dicembre 2009 e vogliamo fare le previsioni di gennaio 2010
Quello che ti dico io è usare il 2009 per stimare i parametri e poi prevedere qualche passo in vanti. Secondo me rappresentare fenomeni fisici come la temperatura semplicemente con semplici funzioni non è la procedura migliore. Avresti delle previsioni pessime o peggio ancora andresti in overfitting.
Io prima di tutto andrei con i modelli ARIMA, nonostante in campo ambientale i modelli top sono le reti neurali. Se vuoi ti aiuto volentieri con gli ARIMA anche per sostituire i due dati mancanti di dicembre
.
Aspetto tue notizie.
Ciao
Io prima di tutto andrei con i modelli ARIMA, nonostante in campo ambientale i modelli top sono le reti neurali. Se vuoi ti aiuto volentieri con gli ARIMA anche per sostituire i due dati mancanti di dicembre
.Aspetto tue notizie.
Ciao
"olaxgabry":
Quello che ti dico io è usare il 2009 per stimare i parametri e poi prevedere qualche passo in vanti. Secondo me rappresentare fenomeni fisici come la temperatura semplicemente con semplici funzioni non è la procedura migliore. Avresti delle previsioni pessime o peggio ancora andresti in overfitting.
Io prima di tutto andrei con i modelli ARIMA, nonostante in campo ambientale i modelli top sono le reti neurali. Se vuoi ti aiuto volentieri con gli ARIMA anche per sostituire i due dati mancanti di dicembre
Aspetto tue notizie.
Ciao
Sei troppo gentile grazie mille....ti confesso che con le mie poche basi che ho mi sembra arabo quello che hai scritto però accetto volentieri il tuo aiuto...
Comunque io,se hai tempo e voglia, farei due procedimenti:
1)uno con le funzioni che per quanto viene scorretto purtroppo dobbiamo fare per finire il nostro lavoro accademico
2)il modello ARIMA.Questo lo farei più che altro per curiosità e perchè mi hai intrigato...anche se penso che non sono in grado di impostarlo.Dovresti fare come con i bimbi spiegarmi passo a passo
edit:ho visto il modello e dopo uno sguardo anche ai grafici e alle condizioni di partenza penso che effettivamente hai ragione;)
Io ho trovato questo i:
A partire dagli input dei dati iniziali, di cui sopra, i modelli meteorologici calcolo l'evoluzione dello stato futuro dell'atmosfera rispetto ai parametri o incognite del set di equazioni fondamentali. A causa della natura intrinsecamente caotica dell'atmosfera il limite temporale di una previsione affidabile, ovvero non affetta da errori significativi, tramite modelli si aggira intorno ai 7-15 giorni.
L'uso dei modelli fisico-matematici sempre più raffinati e affidabili ha aiutato di molto il lavoro del meteorologo, il cui compito rimane quello di interpretare correttamente e adattare la previsione (output) dei modelli, sulla scorta delle proprie conoscenze empiriche acquisite, alle situazioni particolari che si verificano su un dato territorio per il quale i modelli risultano ancora piuttosto approssimativi compiendo errori significativi (es. stima della nuvolosità, della precipitazione ecc...).
Si distingue tra modelli a scala emisferica adatti per previsioni continentali e/o globali e modelli a scala locale o area limitata (LAM) per previsioni regionali, ottenuti a partire da procedure di downscaling a partire dai modelli globali. Spesso l'occhio del meteorologo riesce a leggere l'evoluzione futura della circolazione atmosferica a grandi linee, ovvero a scala sinottica, al di là del range operativo dei modelli stessi che attualmente raggiunge i 7-15 giorni, grazie a conoscenze legate, ad esempio, alle teleconnessioni atmosferiche o ancora una volta al metodo delle analogie. Esempi di modelli meteorologici sono il RAMs, il BOLAM, il DALAM, l'MM5 ecc...
Negli ultimi anni si sono sviluppate e affinate nuove e più efficaci tecniche di previsione tramite modelli, dette previsioni di ENSEMBLE, le quali consentono di ridurre l'incertezza intrinseca della previsione, dovuta alla sensibilità alle condizioni iniziali del modello, operando una media degli output (run) del modello stesso a partire da condizioni iniziali diverse comprese all'interno dei loro limiti di approssimazione e/o troncamento. Allo stesso modo è stato possibile ottenere delle previsioni ancora più accurate, dette Multimodel ENSEMBLE, riducendo l'incertezza intrinseca dei vari modelli (dovuta ai diversi metodi di risoluzione numerica e alle diverse parametrizzazioni dei processi) attraverso la media delle corse (run) dei vari modelli pesate con probabilità di successo dei modelli stessi.
Ok allora, questo fine settimana ti darò aggiornamenti sul modello ARIMA trovato. Per quanto riguarda i modelli clima: negli ultimi anni stanno avendo un grande successo le reti neurali, nonostante abbiano un serio problema dovuto all'overfitting. Tra l'altro uno dei maggiori esperti è proprio un italiano (Pasini A.) che ha fatto veramente un mare di cose nel settore.
Per il momento però rimaniamo sui modelli lineari (ARIMA) perché con le reti neurali le cose sono un pò più complicate da spiegare.
A presto.
Per il momento però rimaniamo sui modelli lineari (ARIMA) perché con le reti neurali le cose sono un pò più complicate da spiegare
.A presto.
"olaxgabry":
Ok allora, questo fine settimana ti darò aggiornamenti sul modello ARIMA trovato. Per quanto riguarda i modelli clima: negli ultimi anni stanno avendo un grande successo le reti neurali, nonostante abbiano un serio problema dovuto all'overfitting. Tra l'altro uno dei maggiori esperti è proprio un italiano (Pasini A.) che ha fatto veramente un mare di cose nel settore.
Per il momento però rimaniamo sui modelli lineari (ARIMA) perché con le reti neurali le cose sono un pò più complicate da spiegare
A presto.
Già per me gli arima sono arabo ahahah...non esageriamo comunque su un altro forum mi hanno detto:
"devo dire che non ho capito bene ,ma se quel poco che ho capito è che si voglia calcolare le T di gennaio partendo dai dati di dicembre , quello che si deve fare è applicare le differenze mensili medie tra dicembre e gennaio ,per avere una migliore probabilità sarebbe meglio anche quelle decadali del mese e non solo mensile , da qui si avrebbe un media di T per le giornate di gennaio probabili , ma non le reali T dei giorni che si sono avute , visto che le T giornaliere sarebbe da fare in tuttaltro modo.
sempre se ho in parte capito quello che si vuole fare !?
PS , se non le hai qui ci sono tutti i dati climatici per messina anche per decadi :http://www.meteoam.it/modules/Atlant...20)Messina.pdf
Ma statisticamente o matematicamente parlando ci stiamo comportando in modo formalmente giusto??
il discorso lo stiamo portando avanti anche su:
http://forum.ilmeteo.it/showthread.php?t=123595
Guarda, sicuramente ci sono molti metodi però io andrei su modelli dinamici (ARIMA). Comunque costruire i dati di Gennaio utilizzando gli ultimi 10 anni dello stesso mese, come ti è stato suggerito, non mi convince per niente: le temperature subiscono dei cambiamenti di anno in anno a causa ad esempio della $CO_{2}$, per cui si potrebbe andare incontro a spiacevoli sorprese in questo modo.
Comunque sia la previsione va fatta sempre $h$ passi in avanti con $h$ piccolo perché su orizzonti previsivi elevati nussun modello regge.
Domani proverò a postarti il modello che utilizzerò per tappare quei due dati mancanti: cercherò di spiegarti le cose in maniera semplice e spero chiara.
Comunque sia la previsione va fatta sempre $h$ passi in avanti con $h$ piccolo perché su orizzonti previsivi elevati nussun modello regge.
Domani proverò a postarti il modello che utilizzerò per tappare quei due dati mancanti: cercherò di spiegarti le cose in maniera semplice e spero chiara.
"olaxgabry":
Guarda, sicuramente ci sono molti metodi però io andrei su modelli dinamici (ARIMA). Comunque costruire i dati di Gennaio utilizzando gli ultimi 10 anni dello stesso mese, come ti è stato suggerito, non mi convince per niente: le temperature subiscono dei cambiamenti di anno in anno a causa ad esempio della $CO_{2}$, per cui si potrebbe andare incontro a spiacevoli sorprese in questo modo.
Comunque sia la previsione va fatta sempre $h$ passi in avanti con $h$ piccolo perché su orizzonti previsivi elevati nussun modello regge.
Domani proverò a postarti il modello che utilizzerò per tappare quei due dati mancanti: cercherò di spiegarti le cose in maniera semplice e spero chiara.
Mi fido di te allora e lascio stare quello che dicono i metereologi...
credo che la domanda qui sia più semplicemente: per quale corso stai lavorando a questa analisi? un corso di statistica economica (suppongo) base? avanzato? statistica e basta? processi stocastici?
a seconda della risposta si può proporre il modello..
io in primis ho sempre usato andare un po' "oltre" rispetto agli assignment dei corsi, ma ho imparato sulla mia pelle che a volte non è apprezzato..se viene richiesta una cosa è importante che si faccia quella, POI eventualmente si complica il discorso come approfondimento..
in termini banali, se non viene richiesto più che un livellamento esponenziale, perché andare a scomodare un filtro di kalman complesso, o processi stocastici a tempo continuo etc?
a seconda della risposta si può proporre il modello..
io in primis ho sempre usato andare un po' "oltre" rispetto agli assignment dei corsi, ma ho imparato sulla mia pelle che a volte non è apprezzato..se viene richiesta una cosa è importante che si faccia quella, POI eventualmente si complica il discorso come approfondimento..
in termini banali, se non viene richiesto più che un livellamento esponenziale, perché andare a scomodare un filtro di kalman complesso, o processi stocastici a tempo continuo etc?
Un corso di economia triennale....sono pienamente d'accordo con te ed infatti avevo chiesto se possibile di seguire due strade una con il sistema dell'estrapolazione(che come dicevo non riusciamo ad impostare perchè non capiamo quale sia l'equazione teorica e come impostare le varia x in modo tale che gli incrementi e i decrementi di temperatura siano "corretti") e un altro più complesso per comprendere come si doveva procedere(questa più che altro era una mia curiosità)...
Mi devi scusare perché mi sono dimenticato. Purtroppo è un periodo molto impegnativo, fatto sta che non ho giustificazioni.
Io ho trovato alcuni modelli che si adattano bene alla tua serie. Sono tutti modelli autoregressivi del tipo
$x_{t}=\sum_{i=1}^{p}\phi_{i}x_{t-i}+u_{t}$
dove $u_{t}$ è un processo white noise (racchiude, in maniera non proprio precisissima, tutto quello che il tuo modello non riesce a spiegare del fenomeno.). Se sei ancora interessato ti posto i modelli, magari per i grafici dovremo fare via mail perché devo capire come si postano.
Ciao
Io ho trovato alcuni modelli che si adattano bene alla tua serie. Sono tutti modelli autoregressivi del tipo
$x_{t}=\sum_{i=1}^{p}\phi_{i}x_{t-i}+u_{t}$
dove $u_{t}$ è un processo white noise (racchiude, in maniera non proprio precisissima, tutto quello che il tuo modello non riesce a spiegare del fenomeno.). Se sei ancora interessato ti posto i modelli, magari per i grafici dovremo fare via mail perché devo capire come si postano.
Ciao
"olaxgabry":
Mi devi scusare perché mi sono dimenticato. Purtroppo è un periodo molto impegnativo, fatto sta che non ho giustificazioni.
Io ho trovato alcuni modelli che si adattano bene alla tua serie. Sono tutti modelli autoregressivi del tipo
$x_{t}=\sum_{i=1}^{p}\phi_{i}x_{t-i}+u_{t}$
dove $u_{t}$ è un processo white noise (racchiude, in maniera non proprio precisissima, tutto quello che il tuo modello non riesce a spiegare del fenomeno.). Se sei ancora interessato ti posto i modelli, magari per i grafici dovremo fare via mail perché devo capire come si postano.
Ciao
Si sono ancora interesatissimo;) anche se ormai l'esame è fra una settimana quindi studio come un pazzo e avrò pochissimo tempo però posta pure...
La mia mail l'hai ancora,vero??te l'avevo inviata tramite pm;)
Mi è arrivata ora . I grafici te li posto via mail, magari la discussione la continuiamo qui anche per dare la possibilità ad altri utenti di poter intervenire e dare opinioni.
In serata ti mando i grafici e qui ti spiegherò i modelli utilizzati.
Ciao
. I grafici te li posto via mail, magari la discussione la continuiamo qui anche per dare la possibilità ad altri utenti di poter intervenire e dare opinioni.In serata ti mando i grafici e qui ti spiegherò i modelli utilizzati.
Ciao
Forse ho capito male io, ma non credevo si trattasse di un esame all'inizio. Però se si sa un pò di regressione allora gli AR non sono poi così duri (non di proposito ho tralasciato modelli misti con componenti a somma mobile nei modelli trovati): così non tocchiamo filtri di Kalman e soprattutto modelli a tempo continuo (lunge da me).
Sulle osservazioni: se si prendesse solo Dicembre si avrebbero veramente poche osservazioni considerando il fatto che ci sono anche due dati mancanti. Io non dimenticherei il bel numero di osservazioni precedenti, si rendono gli stimatori sicuramente più consistenti e tutto statisticamente più corretto.
Più che altro vediamo cosa ci dice revivo e di conseguenza agiremo.
Sulle osservazioni: se si prendesse solo Dicembre si avrebbero veramente poche osservazioni considerando il fatto che ci sono anche due dati mancanti. Io non dimenticherei il bel numero di osservazioni precedenti, si rendono gli stimatori sicuramente più consistenti e tutto statisticamente più corretto.
Più che altro vediamo cosa ci dice revivo e di conseguenza agiremo
.
Sergio hai perfettamente ragione infatti io avevo detto che alla fine noi eravamo in un corso base:più che altro puntiamo sugli strumenti fondamentali e più semplici delle statistica descrittiva e per questo sarebbe stato interessante o puntare su una estrapolazione o su delle medie mobili(infatti abbiamo i dati anche dei dieci anni precedenti e facendo le medie per i giorni degli anni precedenti e facendo la semisomma con le medie degli ultimi tre giorni di dicembre 2009 mi avevano detto che si poteva ottenere un dato molto grezzo che riguardava ad esempio il primo gennaio)...Il sistema delle estrapolazioni non siamo riusciti ad impostarlo anzi vi confesso che sono rimasto deluso dal "contributo" degli altri e non mi sono impegnato più di tanto:su 13 abbiamo lavorato in 2 e alla fine ci siamo distrutti(70 pagine di calcoli) anche per gli altri che non ci hanno detto nemmeno un grazie ma che ora potranno fare l'esame con noi...
Confesso anche che poter tentare di capire il modello ARIMA e riuscire a fare delle previsioni degne di nota sarebbe stato veramente interessante(lasciando stare il lavoro per l'università) ma ci vuole veramente qualcuno che mi spieghi passo a passo le cose perchè tantissimi di quegli indici per me sono nuovi...
PS:Ola provo ad inviarti una mail ma mi dice che:" blocked using cbl.abuseat.org"....più tardi riprovo
Confesso anche che poter tentare di capire il modello ARIMA e riuscire a fare delle previsioni degne di nota sarebbe stato veramente interessante(lasciando stare il lavoro per l'università) ma ci vuole veramente qualcuno che mi spieghi passo a passo le cose perchè tantissimi di quegli indici per me sono nuovi...
PS:Ola provo ad inviarti una mail ma mi dice che:" blocked using cbl.abuseat.org"....più tardi riprovo
Abbiamo se voglio posso reperire sul sito che vi ho segnalato i dati degli ultimi dieci anni anzi che dico degli ultmi 30(do questa informazione perchè si trovano i dati per ogni provincia e probabilmente a qualche altro potrebbero interessare).Certo noi teoricamente stiamo lavorando solo sul 2009 quindi non è proprio la soluzione migliore ma sempre meglio di niente...
Ma fare delle previsioni per il primo trimestre non è un azzardo tremendo?dico si che stiamo lavorando solo per dimostrare """"la bontà"""" del sistema ma di solito non si lavora massimo su tre giorni per fare le previsioni e non si dovrebbe fare la media degli ultimi tre giorni degli ultimi mesi per far si che si ottengano risultati con un margine di errore inferiore??in ogni caso quando dicevo 70 pagine di calcolo parlavo di fogli excell:è una bibbia il nostro progetto altro che tesina ahahaha...
In ogni caso grazie mille per l'aiuto per ora magari non sarò presentissimo perchè sto studiando la parte teorica della materia e diciamo che ci sono decine e decine di dimostrazioni da saper fare quindi sto lavorando come un matto;)...ma cercherò di portare avanti anche quest'ultima parte del mio progetto
PS:a proposito qualcuno di voi sa dimostrare perchè "la somma dei quadrati degli scarti della media artimetica è uguale ad un minimo".Cioè riesco a dimostrarla sia con le derivate sia con i momenti ma in questo caso sono un pò perplesso perchè il risultato mi viene momento secondo= momento di origine m e grado 2- momento di origine m e grado 1 al quadrato.La soluzione sarà giusta ma non mi dice tanto...
Ma fare delle previsioni per il primo trimestre non è un azzardo tremendo?dico si che stiamo lavorando solo per dimostrare """"la bontà"""" del sistema ma di solito non si lavora massimo su tre giorni per fare le previsioni e non si dovrebbe fare la media degli ultimi tre giorni degli ultimi mesi per far si che si ottengano risultati con un margine di errore inferiore??in ogni caso quando dicevo 70 pagine di calcolo parlavo di fogli excell:è una bibbia il nostro progetto altro che tesina ahahaha...
In ogni caso grazie mille per l'aiuto per ora magari non sarò presentissimo perchè sto studiando la parte teorica della materia e diciamo che ci sono decine e decine di dimostrazioni da saper fare quindi sto lavorando come un matto;)...ma cercherò di portare avanti anche quest'ultima parte del mio progetto
PS:a proposito qualcuno di voi sa dimostrare perchè "la somma dei quadrati degli scarti della media artimetica è uguale ad un minimo".Cioè riesco a dimostrarla sia con le derivate sia con i momenti ma in questo caso sono un pò perplesso perchè il risultato mi viene momento secondo= momento di origine m e grado 2- momento di origine m e grado 1 al quadrato.La soluzione sarà giusta ma non mi dice tanto...
Accedi a tutti gli appunti
Tutor AI: studia meglio e in meno tempo