Ruby und Sapphire: neue Modellierungsstrategie am MPI-M

Die Entwicklung von Erdsystemmodellen am Max-Planck-Institut für Meteorologie (MPI-M) hat gezeigt, dass Modelle mit Rechengittern im Kilometer-Maßstab realisierbar sind. Diese Modelle nutzen Rechengitter, die fein genug sind, um die sich ändernde Dynamik atmosphärischer Störungen ­– von einem Cumulus-Regenschauer bis zu einem Tropensturm – aufzulösen. Aus diesem Grund werden diese Modelle als sturmauflösende oder konvektionsauflösende Erdsystemmodelle (Storm-Resolving Earth System Models – SR-ESMs) bezeichnet. Mit diesen feinen Gittern können die SR-ESMs explizit auch andere wichtige Klimaprozesse, wie z.B. mesoskalige Wirbel im Ozean, mesoskalige Landoberflächenheterogenität und den Einfluss der Topographie auf großräumige atmosphärische Zirkulationen sowie die Wassermassenbildung im Ozean darstellen. Damit unterscheiden sich die SR-ESMs strukturell und qualitativ von den höchstauflösenden konventionellen Klimamodellen und ermöglichen das Erreichen neuer wissenschaftlicher Horizonte. Das MPI-M strebt eine Führungsrolle bei der Entwicklung dieser neuen Art von Erdsystemmodellen an; dies führt zu einer grundlegenden Umstrukturierung des Ansatzes bei der Modellentwicklung.

Die neue Modellentwicklungsstrategie konzentriert sich auf die Entwicklung der nächsten Generation von Erdsystemmodellen, die SR-ESMs. Gleichzeitig sollen aber auch die Möglichkeiten traditioneller Erdsystemmodelle besser genutzt werden, um die Klimavariabilität und die Auswirkungen langsamer Prozesse auf das Klimasystem zu untersuchen. Das ICON-Modellsystem, das seinen Namen von der Verwendung von sphärischen Gittern erhält, die aus dem Ikosaeder (ICO) und der nicht-hydrostatischen (N) Dynamik, die für die Atmosphäre verwendet wird, abgeleitet sind, ist das primäre Modellsystem am MPI-M. Es umfasst Komponenten für die Atmosphäre, den Ozean und das Land. ICON wird in Partnerschaft mit dem Deutschen Wetterdienst (DWD), dem Deutschen Klimarechenzentrum (DKRZ) und dem Karlsruher Institut für Technologie (KIT) entwickelt.

Um die Entwicklungsherausforderungen des SR-ESMs zu handhaben, hat das MPI-M seine Modellentwicklung in zwei Stränge gegliedert: Ruby und Sapphire. Sapphire konzentriert sich auf die Entwicklung und Anwendung von Erdsystemmodellen der nächsten Generation (SR-ESM); Ruby stellt die Anwendung und effiziente Nutzung ICON-basierter konventioneller Modelle am MPI-M in den Vordergrund. Sapphire wird eng mit den technischen Bemühungen koordiniert, das ICON-Modell an die Anforderungen der leistungsfähigsten Computersysteme für wissenschaftliches Rechnen und die damit verbundenen neuen Arbeitsabläufe anzupassen.

Abwechselnd alle zwei Wochen finden Treffen am MPI-M statt, um die Sapphire- und Ruby-Stränge zu organisieren und zu verwalten. Bei dem an Experimenten orientierten Ansatz von Sapphire konzentriert sich das Projektmanagement auf die erfolgreiche Durchführung und Nutzung der Experimente. Der Schwerpunkt liegt dabei auf der Definition von Experimenten, der Überwachung des Fortschritts, der Ermittlung der Schritte, die zur Lösung von auftretenden Problemen erforderlich sind, sowie der Überarbeitung der Definition des Experiments und schließlich auf die Förderung der wissenschaftlichen Nutzung abgeschlossener Experimente. Der Prozess macht die Zuweisung von technischen und rechnerischen Ressourcen transparent und bietet ein Forum, in dem jede/r Wissenschaftler*in ein innovatives und neues Experiment vorschlagen kann. Um eine Fragmentierung zu vermeiden, wird jedes Experiment mit einer Retrospektive abgeschlossen, in der die gewonnenen Erkenntnisse und mögliche technische Entwicklungen zusammengefasst werden, die ein agileres Modellierungssystem unterstützen könnten. Als Reaktion auf diese Retrospektiven können neue Experimente definiert werden, idealerweise in einer Weise, die auch auf wissenschaftliche Ziele ausgerichtet ist. Die durch Experimente angetriebene Modellentwicklung hilft Sapphire einen bestimmten wissenschaftlichen Fokus beizubehalten und hat zu einer lebhaften Zusammenarbeit in der Modellentwicklung geführt. Ruby entlehnt ebenfalls Elemente der experimentell getriebenen Strategie von Sapphire, aber einige Aspekte, wie die Optimierung der Leistung eines Systems für allgemeine Zwecke, eignen sich nicht so leicht für diese Strategie. Nichtsdestotrotz verfolgen auch im Fall von Ruby die offenen und regelmäßigen Entwicklungstreffen den Fortschritt und helfen bei der effektiven und transparenten Verwaltung der personellen und rechnerischen Ressourcen.
 

Ruby
Ruby entwickelt Erdsystemmodelle zur Untersuchung der Klimavariabilität, der Vorhersagbarkeit des Klimas und des Klimawandels. Ruby geht von gekoppelten ICON-Konfigurationen in der Klasse der konventionellen Klimamodelle aus. Diese Konfigurationen basieren auf einem Code, der mit dem des hochauflösenden Ansatzes wie in Sapphire übereinstimmt. Ruby bündelt die MPI-M-weiten Aktivitäten, welche die Erdsystemmodelle im Klimamodus anwenden. Die Palette der Modellanordnungen reicht von sehr niedriger Auflösung für Ausbildungszwecke und Paläostudien über Jahrtausende bis hin zum High-End-Klimamodell mit wirbelauflösendem Ozean und einer Auflösung der Atmosphäre, die früher nur in regionalen Modellen angewandt wurde, wodurch die Lücke zu den noch höher aufgelösten Sapphire-Anordnungen geschlossen wird.

Die Grundlage von Ruby ist die Konfiguration Ruby-0, ein voll funktionsfähiges gekoppeltes Modell, das die hohen Anforderungen an Klimasimulationen über Jahrhunderte erfüllt, insbesondere hinsichtlich der Langzeiterhaltungseigenschaften von Energie, Wasser und Kohlenstoff. Die mit dieser Konfiguration durchgeführten DECK-Experimente im Climate Model Intercomparison Project Phase 6 (CMIP6) zeigen, dass ein völlig neues ICON-basiertes ESM für weitere experimentell getriebene Entwicklungen mit spezifischen wissenschaftlichen Fragestellungen bereitsteht. Ruby-1 und Ruby-2 sind zwei Beispiele für solche Entwicklungen. Das letztendliche Ziel von Ruby ist es, die konventionellen gekoppelten Konfigurationen in ein SR-ESM zu verwandeln, welches für Klimasimulationen geeignet ist.

Ruby-Konfigurationen
Ruby-0 bietet eine effiziente Konfiguration für die Modellentwicklung, für Simulationen des Klimas in Vergangenheit, Gegenwart und Zukunft sowie für große Ensembles. Während bisher die Modellentwicklung meist auf der Ebene einzelner Komponenten erfolgte (Crueger et al., 2018), konzentriert sich die Arbeit mit der neuen Modellstrategie auf das gekoppelte System, dessen Abstimmung zusätzliche Herausforderungen mit sich bringt (Mauritsen und Roeckner, 2020). Ruby-0 schneidet nach umfänglichen Abstimmungsarbeiten im Allgemeinen im Vergleich zu Beobachtungen und zum älteren MPI-ESM gut ab (Jungclaus et al., 2020) (Abb. 1). Weniger zufriedenstellende Eigenschaften sollen noch verbessert werden. So wird erwartet, dass sich die Meereisverteilung auf der Nordhalbkugel mit dem neu entwickelten dynamischen Meereismodell verbessern wird, bei dem die Dynamik auf dem nativen dreieckigen C-Gitter des ICON formuliert wird (Mehlmann und Korn, 2020).

Abb. 1: Standardisierte klimatologische Fehler von zwei ICON-ESM Ruby-0-Simulationen des vorindustriellen Kontrollzustands (blau/hellblau) und zwei CMIP5-MPI-ESM1-Simulationen (rot/braun). Dargestellt sind die Fehler gegenüber einer CMIP6-MPI-ESM1.2-Simulation des vorindustriellen Klimas. Ein Wert kleiner als 1 bedeutet einen kleineren Fehler als in MPI-ESM1.2. Die Fehler wurden über einen Satz von Standardvariablen für die Regionen Global (GL), Nördliche Extra-Tropen (NE), Südliche Extra-Tropen (SE) und Tropen (TR) gemittelt.

Ruby-1 zielt auf Simulationen für saisonale bis dekadische Vorhersagen ab. Basierend auf den Erfolgen der Simulationen im Projekt MiKlip zur Verbesserung der Vorhersagen (Pohlmann et al., 2019) wird eine höher auflösende Version von ICON-ESM entwickelt, die ein Gleichgewicht zwischen dem Bedarf an verbesserter Auflösung und der notwendigen Rechengeschwindigkeit für die Erstellung einer großen Anzahl von rückwärts gerichteten Prognosen (Hindcasts) bzw. Vorhersagen herstellt. Erste Experimente zeigen vielversprechende Ergebnisse, erfordern aber zusätzliche Feinabstimmung. Die vertikale Auflösung in der Ruby-1-Atmosphäre wird auf 127 Levels erhöht, um eine korrekte Darstellung atmosphärischer Merkmale wie der Quasi-Zweijährliche-Oszillation (QBO – Quasi Biennial Oscillation) zu gewährleisten. Die Initialisierung des Vorhersagesystems mit Ozeanbeobachtungen wird zurzeit vom DWD durchgeführt.

Ruby-2 zielt darauf ab, die Rolle der Atmosphäre-Ozean-Wechselwirkungsprozesse für das Klima und die Modi der Klimavariabilität zu quantifizieren. Das Markenzeichen ist eine neue gekoppelte Konfiguration mit einer dünnen Oberflächenschicht zwischen einem hochauflösenden ICON-A (Atmosphäre) und einem hochauflösenden ICON-O (Ozean) unter Verwendung der neu entwickelten z*-Koordinate in ICON-O. Bisher ist die Klimavariabilität bereits mit hochauflösenden gekoppelten Modellen untersucht worden, aber ohne die Simulation von Atmosphäre-Ozean-Prozessen durch Implementierung einer ausreichend dünnen Meeresoberflächenschicht zur Lösung hochfrequenter Atmosphäre-Ozean-Wechselwirkungen, die z.B. die Entstehung von Fronten beeinflussen. Mit einer solchen Konfiguration lässt sich der Oberflächenozean leicht erwärmen, so dass zusammen mit der hohen Auflösung in ICON-A und ICON-O und der hohen Kopplungsfrequenz Atmosphäre-Ozean-Prozesse in bisher unerreicht hoher Qualität simuliert werden können. Im Gegensatz zu den Sapphire-Experimenten, die sich auf kurze Simulationen beschränken, wird die in Ruby-2 entwickelte Konfiguration für Simulationen über Jahrhunderte verwendet. In Ruby-2 wird untersucht, wie sich Details der qualitativ hochwertigen Atmosphäre-Ozean-Prozesse auf langfristige Modi der Klimavariabilität auswirken.

Ruby-SWITCH (Simplified Workflow for Icon TeaCHing) hat das ICON-System durch die Implementierung des vollständigen und interaktiven Kohlenstoffkreislaufs zur vollen Erdsystemleistungsfähigkeit gebracht. Dadurch und wegen der Flexibilität von ICON für beliebige kontinentale Konfigurationen wurde ein Setup für ein Doktorandenprojekt entworfen, das die treibhausgasbetriebene Abschmelzung des Schneeball-Erde-Zustands am Ende des Marinoans (vor etwa 635 Mio. Jahren) untersucht. Die Standardkonfiguration von Ruby-Switch für das heutige Klima dient der Ausbildung in der Erdsystemmodell-Sommerschule (EaSyMS) des MPI-M.
 

Sapphire
Sapphire entwickelt eine ICON-Version, in der die wichtigsten Arten des Energietransports explizit aufgelöst werden, nämlich der horizontale Energietransport vom Äquator zu den Polen, und der Transport von der Oberfläche bis in die Atmosphäre oder in den Ozean hinein. Dies erfordert einen Rechengitterabstand von einigen Kilometern, um hochreichende konvektive Wirbel in der Atmosphäre und mesoskalige Wirbel im Ozean zu erfassen. Das Ziel ist, eine Modellierung im Hundertmeterbereich zu erreichen, um flache Konvektion und submesoskalige Ozeanwirbel aufzulösen. Während konvektionsauflösende Modelle (SR-ESMs) für regionale Klimasimulationen und Wettervorhersagen inzwischen gut etabliert sind, wird ihre globale Anwendung nur von einer Handvoll Modellierungsgruppen weltweit abgedeckt. Die dreizehn in der Tabelle aufgelisteten durchgeführten Experimente, etablierten das MPI-M als führend auf diesem Gebiet. Globale ICON-Läufe mit einem Gitterabstand von 2,5 km wurden erfolgreich für 40 Tage durchgeführt, mit der höchsten Gitterauflösung der neun am DYAMOND-Vergleich teilnehmenden SR-ESMs (Stevens et al., 2019). Zum ersten Mal wurde eine globale gekoppelte Simulation mit 5 km horizontaler Auflösung über mehrere Monate Simulationszeit durchgeführt.

Durch die experimentgetriebene Strategie wurde die ICON-Version des MPI-M, die ursprünglich für die Ruby-Auflösung konzipiert war, sukzessive an die Bedürfnisse von Sapphire angepasst. Dazu gehörte die Implementierung neuer mikrophysikalischer Schemata, eines 3D-Turbulenzschemas – letzteres insbesondere für Simulationen mit Large-Eddy-Auflösung –, eines Teleskopgitters, und einer neuen vertikalen Koordinate z* im Ozean, welche dünne Schichten erlaubt. Auf der technischen Seite war eine bedeutende Errungenschaft die Neufassung des ICON-Codes für die Grafikprozessor-Architektur (GPU). Um die experimentgetriebene Strategie und die erzielten Ergebnisse besser zu veranschaulichen, werden die beiden Experimente, DYAMOND++ und SMT (Submesoscale Telescope) näher erläutert.

Tabelle: Liste der Experimente mit ihren wissenschaftlichen und technischen (kursiv geschriebenen) Ableitungen. Mit Ausnahme von HOLOCENE und DYAMOND, die die Physik des Deutschen Wetterdienstes (DWD) verwendeten, verwenden alle Experimente die neue Sapphire-Physik. Sie ist identisch mit der Ruby-Physik, jedoch mit abgeschalteten Parametrisierungen von Schwerewellen, Orografie-Widerstand, Wolkendecke und Konvektion und unter Verwendung eines anderen mikrophysikalischen Schemas.

Das Ziel des Projekts DYAMOND++ war die Durchführung einer gekoppelten globalen konvektionsauflösenden Simulation über mehrere Monate, etwas, das noch nie zuvor gemacht worden war. Es baute auf dem DYAMOND-Experiment auf, bei dem der I/O des ICON-Modells deutlich verbessert werden musste, um eine globale Konvektionsauflösung zu ermöglichen. DYAMOND++ beinhaltete eine bedeutende Code-Entwicklung: die Implementierung eines neuen Mikrophysik-Schemas, eine neue vertikale Vermischung und ein neues Kurzwellen-Absorptionsschema im Ozean, eine überarbeitete Behandlung des Wasserabflusses über Flüsse und eine Verkürzung der Initialisierungsphase von 30 auf 5 Minuten. Der endgültige Durchsatz betrug 30 simulierte Tage pro Tag auf 420 Rechenknoten (von 1420 Knoten) auf dem Supercomputer „Mistral“ des DKRZ. Der Anfangszustand des Ozeans, der viele Jahre benötigt, um sich einzuschwingen, wurde aus einem bestehenden 6,5 Jahre langen, von ERA-5-Daten angetriebenen, ungekoppelten Ozeanlauf mit 10 km horizontaler Auflösung gewonnen.

DYAMOND++ erreichte seine Ziele. Die erwarteten großräumigen Merkmale des Klimasystems, wie sie in Abb. 2 für SST und Niederschlag dargestellt sind, werden reproduziert, und erste Analysen ergaben eine realistischere Lokalisierung der ITCZ. In der Retrospektive des Experiments wurden verbleibende Probleme festgestellt: numerische Instabilitäten, die sich am Oberrand des atmosphärischen Modellbereichs entwickelten und im Folgeexperiment DYAMOND-Winter gelöst wurden, und eine unrealistisch starke Erwärmung des subtropischen Ozeans. Letzteres wird als wissenschaftliches Problem behandelt, da es das Verständnis der Wechselwirkungen zwischen Strahlung, Konvektion, der Grenzschicht und der Oberfläche betrifft.

Abb. 2: Mittlerer Niederschlag (Schattierung) und SST (Kontur) aus DYAMOND++.

Das SMT-Experiment hatte zwei Ziele. Erstens sollte ein globales Ozean-Experiment mit lokaler Verfeinerung bis zu einer Auflösung von mehreren hundert Metern durchgeführt werden, die für einheitliche Auflösungskonfigurationen auf absehbare Zeit außer Reichweite ist, und damit die Leistungsfähigkeit von ICON-O demonstriert. Zweitens sollte ein Beitrag zum Verständnis der submesoskaligen Dynamik und ihrer Rolle in der globalen Zirkulation geleistet werden. Während ICON-O mehr oder weniger ‚out-of-the-box‘ mit minimaler Anpassung funktionierte, erforderten der Output und die Datenspeicherung technische Verbesserungen. Die endgültige Leistung betrug acht simulierte Tage pro Tag auf 336 Knoten auf „Mistral“ bei einem zweistündlichen Output. SMT wird durch das SMT-Wave-Experiment abgelöst, das die Wechselwirkung zwischen Wirbeln und Wellen untersucht. SMT-Wave profitiert von Modellverbesserungen wie der Implementierung der neuen vertikalen z*-Koordinate, die eine höhere vertikale Auflösung an der Oberfläche ermöglicht, und der Einbeziehung der Gezeiten in ICON.

 

Veröffentlichungen

Crueger, T. et al. (2018) ICON-A: the atmospheric component of the ICON Earth System Model. Part II: Model evaluation. In: Journal of Advances in Modeling Earth Systems 10, pp. 1638_1662. doi: 10.1029/2017MS001233.

Hohenegger, C., L. Kornblueh, D. Klocke, T. Becker, G. Cioni, J. F. Engels, U. Schulzweida and B. Stevens (2020) Climate statistics in global simulations of the atmosphere, from 80 to 2.5 km grid spacing. J. Meteorol. Society Japan, 98, 73-91, doi:10.2151/jmsj.2020-005.

Jungclaus, J. et al. (2020) ICON-ESM: structure and performance of a climate model based on unstructured grids. Manuscript in preparation.

Mauritsen, T. and E. Roeckner (2020) Tuning the MPI-ESM1.2 global climate model to improve the match with instrumental record warming by lowering its climate sensitivity. In: Journal of Advances in Modeling Earth Systems 12, e2019MS002037. doi: 10.1029/2019MS002037.

Mehlmann, C. and P. Korn (2020) Sea-ice dynamics on triangular grids. In: Journal of Computational Physics. In review.

Pohlmann, H., W. A. Müller, M. Bittner, S. Hettrich, K. Modali, K. Pankatz and J. Marotzke (2019) Realistic quasi-biennial oscillation variability in historical and decadal hindcast simulations using CMIP6 forcing. Geophys. Res. Lett., 46, 4118-14125. doi:10.1029/2019GL084878

Stevens et al. (2020) The added value of large-eddy and storm-resolving models for simulating clouds and precipitation. Journal of the Meteorological Society of Japan, 98, 395-435. doi:10.2151/jmsj.2020-021.

Stevens, B., M. Satoh, L. Auger, et al. (2019) Dyamond: the dynamics of the atmospheric general circulation modeled on non-hydrostatic domains. Prog. in Earth and Planet. Sci., 6, 61. doi:10.1186/s40645-019-0304-z.

 

Weitere Informationen

Fokus-Text zu DYAMOND:
https://mpimet.mpg.de/kommunikation/im-fokus/dyamond-klimamodelle-der-naechsten-generation

Projekt MiKlip:
https://mpimet.mpg.de/en/science/projects/miklip-projekt

 

Kontakt

Prof. Dr. Bjorn Stevens
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 422 (Assistentin Angela Gruber)
E-Mail: bjorn.stevens@we dont want spammpimet.mpg.de

Dr. Johann Jungclaus
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 109
E-Mail: johann.jungclaus@we dont want spammpimet.mpg.de

Dr. Christian Reick
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 117
E-Mail: christian.reick@we dont want spammpimet.mpg.de

Dr. Cathy Hohenegger
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 302
E-Mail: cathy.hohenegger@we dont want spammpimet.mpg.de

Dr. Peter Korn
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 470
E-Mail: peter.korn@we dont want spammpimet.mpg.de