Per Cloover o ale 81 : su che cosa si basano le "performance" dei modelli?

[Konrad66]

Leggo da anni che reading sarebbe il migliore...

Porgo a Clo e Ale ma anche ad altri, una domanda

Per favore,esattamente su cosa si basano le classifiche delle performances!?

cioè leggo ECMWF 0,882 di valore, che significa?

Poi , su che estensione è quel numero? su tutto l'emisfero? su una latitudine?

di un valore di geopotenziale?

Cioè ammettiamo che quel 0,882 significasse l'88% a 10gg..... di percentuale di realizzazione, di cosa? dove?
Cosi almeno sapremmo tutti cosa significa e cosa si riferisce

 

[riccardo]

 

[Konrad66]

Umh vi ho forse sopravvalutato... nessuno vedo che lo sa...

Ci penserò io.. alla mia maniera...  ;D

 

[Alessandro 81]

buona giornata konrad 66. solo ora ho letto il post. anche se non sono la persona giusta per poter rispondere al tuo quesito , provo ugualmente a darti una risposta.sicuramente negli ultimi anni i vari modelli previsionali hanno fatto notevoli passi in avanti sopratutto grazie all  utilizzo dei satelliti i quali oltre a fotografare la superficie terrestre, effettuano diverse  misure di radianza dalle quali è possibile estrapolare  indirettamente stime di temperatura ed umidità dell’atmosfera.per quanto riguarda le performance dei modelli e gli indici di correlazione di riporto di seguito un articolo scritto nel portale meteo:CENTROMETEO  Chi conosce l'approccio scientifico e studia e/o lavora con i modelli matematici, se persona seria lascia alle chiacchiere da bar le varie considerazioni sulla superiorità o meno di questo o quel modello matematico. Ciò per varie ragioni, tra le quali il fatto che il giudizio va ben supportato da solidi dati statistici e non tramite impressioni personali da tifo da stadio. Non è una gara, ma appunto roba seria (anche se una sana "competizione" non guasta).

Con questo non si vuole negare il fatto che in generale i modelli numerici non sono tutti uguali (anzi) e che alcuni possono essere "superiori" rispetto ad altri, piuttosto vorremmo cercare di capire in che senso esattamente e come stanno davvero le cose.

Per approfondire in parte questo tema, prenderemo in esame due tra i più famosi e usati modelli matematici per la fisica atmosferica: il modello americano GFS e quello europeo di Reading ECMWF. Il primo in quanto offre gratuitamente una gamma di prodotti che non ha eguali, il secondo perché considerato il migliore in assoluto (e a ragione, ma vedremo con quale significato tra poco), peccato che a fronte delle tasse che paghiamo forniscano in chiaro solo qualche briciola.

Mettiamo in evidenza subito un fatto e non per essere parziali: GFS è disponibile in 4 corse (run) al giorno, con dati iniziali 00Z, 06Z, 12Z, 18Z, mentre ECMWF solo in 2 (00Z e 12Z). GFS arriva fino a +384h, mentre ECMWF a +240 (in chiaro). E' evidente che a parità di altre condizioni GFS è in apparenza più soggetto a oscillazioni e ritrattamenti che semplicemente nel modello di Reading non hanno occasione di manifestarsi (mancano 2 run al giorno e i giorni oltre il decimo, peraltro proprio quelli ancora più soggetti a cambiamenti essendo forecast più "lontane" dai dati iniziali e quindi con più errori e divergenze). A difesa del modello americano non è quindi giusto non tenere presente questi aspetti che alterano il confronto. Pertanto abbiamo bisogno di un confronto oggettivo e nelle stesse condizioni. Per farlo si usano alcuni indici statistici, tra cui la correlazione.
Che cos'è la correlazione e confronto GFS-ECMWF
In statistica, semplificando, la correlazione indica la tendenza che hanno due variabili (X e Y) a variare insieme, cioè, a covariare. Per esprimere la relazione esistente tra due variabili, in termini di entità e direzione, si utilizza il coefficiente di correlazione. Tale coefficiente è standardizzato e può assumere valori chevanno da -1 (correlazione perfetta negativa, dove se una variabile va in una direzione, l'altra va nella direzione opposta) a +1.00 (correlazione perfetta positiva, come fra il lato di un quadrato e la sua area (correlazione perfetta) e dove aumentano all'unisono (positiva)). Una correlazione uguale a 0 indica che tra le due variabili non vi è alcuna relazione (la mia età con la temperatura della stazione meteo di Pechino ). Una correlazione diversa da zero e diversa da -1 e +1 indica una correlazione parziale. Ad esempio nel caso tra altezza e peso. E' evidente che in qualche modo se si cresce in altezza il peso "tende" (ma solo "tende") ad aumentare anch'esso.

Attenzione: la correlazione non include il concetto di causa-effetto, ma solo quello di rapporto tra variabili. La correlazione ci permette di affermare che tra due variabili c'è una relazione sistematica, ma non è detto che una causi l’altra.

Non è questa la sede per entrare eccessivamente in dettagli tecnici e matematici, basti qui tenere presente i concetti "base", quindi venendo a ciò che ci interessa, è chiaro che quanto più un modello matematico è "ben fatto" (con tutti i se e i ma che consigliamo di approfondire qui), tanto più riuscirà a prevedere bene il tempo. Ma come misurare questa situazione? Mettendo in "correlazione" statistico/matematica opportune variabili previste dal modello con gli stessi valori misurati nella "realtà". Abbiamo messo tra virgolette il termine realtà perché ciò che si usa come dati misurati saranno comunque quelli assimilati in analisi (o re-analisi) nei modelli stessi. Occorre infatti che i dati siano coerenti con la fisica e il grigliato di calcolo dei modelli per renderli disponibili agli stessi. In ogni caso è chiaro che se la previsione ad esempio della 500hPa a 5 giorni del modello dovesse coincidere al 100% in tutto e per tutto e ovunque con lo stesso geopotenziale effettivo misurato il 5° giorno allora avremo una previsione che si è rivelata perfetta e avremmo una correlazione pari a 1 (cioè appunto del 100%). Questo non succede e non succederà mai, ma è evidente che quanto più ci avviciniamo a 1, tanto più la previsione (di quel parametro!) sarà stata corretta. Bene, nella categoria a cui appartiene questo articolo, si possono trovare delle carte e dei link che mostrano tali indici(, in varie forme e combinazioni (oltre ad altri indici statistici), intanto nel presente articolo vediamo due casi particolari, ma molto significativi: la correlazione dell'altezza geopotenziale a 500hPa per il nord emisfero a 5 giorni e la stessa cosa per la temperatura a 850hPa, che potete vedere in queste due cartine, dove ogni linea colorata rappresenta l'andamento della correlazione di modelli diversi (indicati insieme alla media su un certo numero di giorni) rispetto al valore misurato.

Nel caso in esame la media di GFS per la HGT 500hPa della forecast a 120 ore è di 0.876, mentre di ECMWF è 0.919. Questi valori oscillano e cambiano continuamente (e peggiorano se andiamo a prendere una forecast più lontana, come ci si aspetta, vista la propagazione degli errori). Reading è sempre più o meno in testa e anche la media lo è, anche se GFS ha avuto periodi in cui si è avvicinato di più, per poi riallontanarsene, dopo l'implementazione di ulteriori migliorie applicate al modello europeo. Notare comunque gli alti valori di correlazione, non male per una forecast a 5 giorni!

                Queste mappe comunque si riferiscono ai run 00Z e sono state elaborate il 9 Maggio 2016, prima di un nuovo upgrade operato al modello GFS, dove una delle novità più significative è l'uso, a partire dall'11 Maggio, del 4DVar per l'assimilazione dati. Dopo questa modifica GFS ha recuperato posizioni, sperando che in generale mantenga tale andamento. Per non avere più, nei valori medi che sono calcolati su un mese, l'influenza del "vecchio" GFS, abbiamo aspettato più di un mese e questi sono i risultati in data 26 Luglio 2016:

Sebbene le cose in generale cambino di mese in mese e da stagione a stagione possiamo notare quanto segue:
- GFS si è avvicinato a Reading in quanto la differenza tra GFS ed ECMWF è passata 0.04/0.05 per l'HGT a 5 giorni a circa 0.03, mentre per la T850 da 0.05/0.06 a meno di 0.04);
- tutti i modelli sono nel frattempo peggiorati e questo fa parte delle oscillazioni stagionali che vedono delle difficoltà diverse da parte dei modelli nel prevedere i comportamenti atmosferici, secondo periodi e circostanze;
- notare anche come il tanto decantato UKMO sia stato superato da GFS per entrambi i parametri. Il modello inglese è un altro modello tanto dichiarato "migliore" rispetto a GFS, ma come si vede così in realtà, almeno al momento in cui scriviamo, non è. E non lo è sempre stato.

Infine vi mostriamo un'altra mappa che mostra l'andamento della correlazione in funzione delle ore di forecast per la 500hPa. Si osserva la costante superiorità di ECMWF, ma a poca distanza GFS e gli altri... Meditate gente, meditate...

link per accedere all articolo:http://www.centrometeo.com/modelli-numerici/performance-statistiche/5575-gfs-vs-ecmwf-indici-correlazione-modelli-chiacchiere-bar        il link per poter accedere ai grafici è il seguente:http://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/

 

[Konrad66]

buona giornata konrad 66. solo ora ho letto il post. anche se non sono la persona giusta per poter rispondere al tuo quesito , provo ugualmente a darti una risposta.sicuramente negli ultimi anni i vari modelli previsionali hanno fatto notevoli passi in avanti sopratutto grazie all  utilizzo dei satelliti i quali oltre a fotografare la superficie terrestre, effettuano diverse  misure di radianza dalle quali è possibile estrapolare  indirettamente stime di temperatura ed umidità dell’atmosfera.per quanto riguarda le performance dei modelli e gli indici di correlazione di riporto di seguito un articolo scritto nel portale meteo:CENTROMETEO  Chi conosce l'approccio scientifico e studia e/o lavora con i modelli matematici, se persona seria lascia alle chiacchiere da bar le varie considerazioni sulla superiorità o meno di questo o quel modello matematico. Ciò per varie ragioni, tra le quali il fatto che il giudizio va ben supportato da solidi dati statistici e non tramite impressioni personali da tifo da stadio. Non è una gara, ma appunto roba seria (anche se una sana "competizione" non guasta).

Con questo non si vuole negare il fatto che in generale i modelli numerici non sono tutti uguali (anzi) e che alcuni possono essere "superiori" rispetto ad altri, piuttosto vorremmo cercare di capire in che senso esattamente e come stanno davvero le cose.

Per approfondire in parte questo tema, prenderemo in esame due tra i più famosi e usati modelli matematici per la fisica atmosferica: il modello americano GFS e quello europeo di Reading ECMWF. Il primo in quanto offre gratuitamente una gamma di prodotti che non ha eguali, il secondo perché considerato il migliore in assoluto (e a ragione, ma vedremo con quale significato tra poco), peccato che a fronte delle tasse che paghiamo forniscano in chiaro solo qualche briciola.

Mettiamo in evidenza subito un fatto e non per essere parziali: GFS è disponibile in 4 corse (run) al giorno, con dati iniziali 00Z, 06Z, 12Z, 18Z, mentre ECMWF solo in 2 (00Z e 12Z). GFS arriva fino a +384h, mentre ECMWF a +240 (in chiaro). E' evidente che a parità di altre condizioni GFS è in apparenza più soggetto a oscillazioni e ritrattamenti che semplicemente nel modello di Reading non hanno occasione di manifestarsi (mancano 2 run al giorno e i giorni oltre il decimo, peraltro proprio quelli ancora più soggetti a cambiamenti essendo forecast più "lontane" dai dati iniziali e quindi con più errori e divergenze). A difesa del modello americano non è quindi giusto non tenere presente questi aspetti che alterano il confronto. Pertanto abbiamo bisogno di un confronto oggettivo e nelle stesse condizioni. Per farlo si usano alcuni indici statistici, tra cui la correlazione.
Che cos'è la correlazione e confronto GFS-ECMWF
In statistica, semplificando, la correlazione indica la tendenza che hanno due variabili (X e Y) a variare insieme, cioè, a covariare. Per esprimere la relazione esistente tra due variabili, in termini di entità e direzione, si utilizza il coefficiente di correlazione. Tale coefficiente è standardizzato e può assumere valori chevanno da -1 (correlazione perfetta negativa, dove se una variabile va in una direzione, l'altra va nella direzione opposta) a +1.00 (correlazione perfetta positiva, come fra il lato di un quadrato e la sua area (correlazione perfetta) e dove aumentano all'unisono (positiva)). Una correlazione uguale a 0 indica che tra le due variabili non vi è alcuna relazione (la mia età con la temperatura della stazione meteo di Pechino ). Una correlazione diversa da zero e diversa da -1 e +1 indica una correlazione parziale. Ad esempio nel caso tra altezza e peso. E' evidente che in qualche modo se si cresce in altezza il peso "tende" (ma solo "tende") ad aumentare anch'esso.

Attenzione: la correlazione non include il concetto di causa-effetto, ma solo quello di rapporto tra variabili. La correlazione ci permette di affermare che tra due variabili c'è una relazione sistematica, ma non è detto che una causi l’altra.

Non è questa la sede per entrare eccessivamente in dettagli tecnici e matematici, basti qui tenere presente i concetti "base", quindi venendo a ciò che ci interessa, è chiaro che quanto più un modello matematico è "ben fatto" (con tutti i se e i ma che consigliamo di approfondire qui), tanto più riuscirà a prevedere bene il tempo. Ma come misurare questa situazione? Mettendo in "correlazione" statistico/matematica opportune variabili previste dal modello con gli stessi valori misurati nella "realtà". Abbiamo messo tra virgolette il termine realtà perché ciò che si usa come dati misurati saranno comunque quelli assimilati in analisi (o re-analisi) nei modelli stessi. Occorre infatti che i dati siano coerenti con la fisica e il grigliato di calcolo dei modelli per renderli disponibili agli stessi. In ogni caso è chiaro che se la previsione ad esempio della 500hPa a 5 giorni del modello dovesse coincidere al 100% in tutto e per tutto e ovunque con lo stesso geopotenziale effettivo misurato il 5° giorno allora avremo una previsione che si è rivelata perfetta e avremmo una correlazione pari a 1 (cioè appunto del 100%). Questo non succede e non succederà mai, ma è evidente che quanto più ci avviciniamo a 1, tanto più la previsione (di quel parametro!) sarà stata corretta. Bene, nella categoria a cui appartiene questo articolo, si possono trovare delle carte e dei link che mostrano tali indici(, in varie forme e combinazioni (oltre ad altri indici statistici), intanto nel presente articolo vediamo due casi particolari, ma molto significativi: la correlazione dell'altezza geopotenziale a 500hPa per il nord emisfero a 5 giorni e la stessa cosa per la temperatura a 850hPa, che potete vedere in queste due cartine, dove ogni linea colorata rappresenta l'andamento della correlazione di modelli diversi (indicati insieme alla media su un certo numero di giorni) rispetto al valore misurato.

Nel caso in esame la media di GFS per la HGT 500hPa della forecast a 120 ore è di 0.876, mentre di ECMWF è 0.919. Questi valori oscillano e cambiano continuamente (e peggiorano se andiamo a prendere una forecast più lontana, come ci si aspetta, vista la propagazione degli errori). Reading è sempre più o meno in testa e anche la media lo è, anche se GFS ha avuto periodi in cui si è avvicinato di più, per poi riallontanarsene, dopo l'implementazione di ulteriori migliorie applicate al modello europeo. Notare comunque gli alti valori di correlazione, non male per una forecast a 5 giorni!

                Queste mappe comunque si riferiscono ai run 00Z e sono state elaborate il 9 Maggio 2016, prima di un nuovo upgrade operato al modello GFS, dove una delle novità più significative è l'uso, a partire dall'11 Maggio, del 4DVar per l'assimilazione dati. Dopo questa modifica GFS ha recuperato posizioni, sperando che in generale mantenga tale andamento. Per non avere più, nei valori medi che sono calcolati su un mese, l'influenza del "vecchio" GFS, abbiamo aspettato più di un mese e questi sono i risultati in data 26 Luglio 2016:

Sebbene le cose in generale cambino di mese in mese e da stagione a stagione possiamo notare quanto segue:
- GFS si è avvicinato a Reading in quanto la differenza tra GFS ed ECMWF è passata 0.04/0.05 per l'HGT a 5 giorni a circa 0.03, mentre per la T850 da 0.05/0.06 a meno di 0.04);
- tutti i modelli sono nel frattempo peggiorati e questo fa parte delle oscillazioni stagionali che vedono delle difficoltà diverse da parte dei modelli nel prevedere i comportamenti atmosferici, secondo periodi e circostanze;
- notare anche come il tanto decantato UKMO sia stato superato da GFS per entrambi i parametri. Il modello inglese è un altro modello tanto dichiarato "migliore" rispetto a GFS, ma come si vede così in realtà, almeno al momento in cui scriviamo, non è. E non lo è sempre stato.

Infine vi mostriamo un'altra mappa che mostra l'andamento della correlazione in funzione delle ore di forecast per la 500hPa. Si osserva la costante superiorità di ECMWF, ma a poca distanza GFS e gli altri... Meditate gente, meditate...

link per accedere all articolo:http://www.centrometeo.com/modelli-numerici/performance-statistiche/5575-gfs-vs-ecmwf-indici-correlazione-modelli-chiacchiere-bar        il link per poter accedere ai grafici è il seguente:http://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/

Grazie per la risposta, seria e esauriente,  che meritavo, perchè sul mf lombardo ad esempio nessuno è stato in grado
di farlo, presi dalla commercialità decadente anni 10...

La seconda domanda è, queste mappe, sono la media di tutti i punti di tutto l'emisfero? Quindi dall'equatore al polo?

 

[Alessandro 81]

buona giornata konrad. molto probabilmente i grafici relativi all  anomaly correlation  vanno a mostrare la correlazione che esiste  tra il tempo atmosferico del modello in esame  e il tempo osservato .Il coefficiente viene calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato oppure temperatura ad 850 hpa del modello e quello osservato) generalmente  viene usata  una correlazione intorno all 80% come soglia limite per determinare se il modello ha  predetto bene il tempo che ha fatto. Sotto quella soglia il modello evidenzia una mediocre performance e vicino al 50% di correlazione meglio utilizzare e fare riferimento a una media climatica.  questi indici sono calcolati su tutto l'emisfero (N -S) e pertanto tali grafici fanno riferimento a una scala globale e non solo locale. spero di non aver scritto idiozie . nel frattempo ti invito a consultare fonti maggiormente accreditate dato che io non ho alcuna competenza in materia.

 

[Konrad66]

buona giornata konrad. molto probabilmente i grafici relativi all  anomaly correlation  vanno a mostrare la correlazione che esiste  tra il tempo atmosferico del modello in esame  e il tempo osservato .Il coefficiente viene calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato oppure temperatura ad 850 hpa del modello e quello osservato) generalmente  viene usata  una correlazione intorno all 80% come soglia limite per determinare se il modello ha  predetto bene il tempo che ha fatto. Sotto quella soglia il modello evidenzia una mediocre performance e vicino al 50% di correlazione meglio utilizzare e fare riferimento a una media climatica.  questi indici sono calcolati su tutto l'emisfero (N -S) e pertanto tali grafici fanno riferimento a una scala globale e non solo locale. spero di non aver scritto idiozie . nel frattempo ti invito a consultare fonti maggiormente accreditate dato che io non ho alcuna competenza in materia.

Ok...

quindi dovrebbe essere "globale" quel 0.919 di valore,

quindi dovrebbe essere 1 in Africa o dove ci sono vastissimi hp ma  anche 0,5 appena nelle zone del flusso perturbato
a media latitudine....



Cioè se alle Canarie, ad esempio, a 5gg è prevista la 592 dam, è molto probabile che si rasenti il 100% di perfezione, perchè
anche sbagliando di 500km , essendo una vasta hp, cambierebbe poco o nulla...

Mentre dove lo spread è piu elevato, dubito sia 0.919 il valore di reading, e degli altri...