Frischer Wind für die Klimaforscher: Hochleistungsrechner „Mistral“ am Deutschen Klimarechenzentrum

Die Klimaforscher am Max-Planck-Institut für Meteorologie (MPI-M) nutzen für ihre Klimasimulationen die Hochleistungsrechner- und Datenspeichersysteme des Deutschen Klimarechenzentrums (DKRZ) in Hamburg. Dieses „Labor“ der Klimamodellierer ist ihre wichtigste Forschungsinfrastruktur. Seit Juli 2015 arbeiten die Wissenschaftler mit dem neuen Hochleistungsrechner „Mistral“ der französischen Firma Atos/Bull, der am 5. Oktober 2015 vom Ersten Bürgermeister der Freien und Hansestadt Hamburg, Olaf Scholz, und Vertretern des Bundesministeriums für Bildung und Forschung (BMBF) mit einem Festakt und einem Nutzer-Workshop eingeweiht wurde. Mehr Rechenleistung und größere Datenspeichersysteme unterstützen die Forscher dabei, die Geschwindigkeit und Genauigkeit ihrer Klimasimulationen zu erhöhen.


Die Klima- und Erdsystemmodelle der Wissenschaftler laufen auf den Supercomputern des DKRZ mit Tausenden, in Zukunft sogar einigen Zehntausenden von Prozessoren und erzeugen riesige Datenmengen. Das neue Hochleistungsrechnersystems für die Erdsystemforschung (HLRE-3) „Mistral“ am DKRZ ist deutlich leistungsstärker und energieeffizienter ist als der bisherige Rechner IBM Power6 „Blizzard“. Der Hersteller Atos/Bull hat die erste Ausbaustufe des neuen Rechnersystems im Frühjahr 2015 installiert. Am 1. Juli 2015 hat „Mistral“ seine Arbeit voll aufgenommen, Ende September wurde das System„Blizzard“ abgeschaltet.


Eine zweite Ausbaustufe der „Mistral“ soll ab Sommer 2016 Rechenleistung und Speicherplatz des Systems noch einmal  mehr als verdoppeln. Mit einer Rechenleistung von 3 PetaFLOPS  (3x1015 FLOPS, FLoating-point Operations Per Second) und dem dann 50 PetaByte großen parallelen Dateisystem können auch regional besonders hoch aufgelöste Klimasimulationen durchgeführt und ausgewertet, mehr Prozesse in Erdsystemmodellen berücksichtigt oder die Unsicherheiten in Klimaprojektionen reduziert werden. Insbesondere das neu entwickelte Klimamodell ICON wurde für den HLRE-3 optimiert und wird damit auch kleinräumigere Phänomene wie die Wolkenbildung hochauflösend berechnen können. Je kleiner die Gitterzellen des dreidimensionalen Modellgitters sind, desto detailreicher werden die Simulationen. „Mistral“ erlaubt Berechnungen mit einem 100-Meter-Gitter und damit erstmals explizit die Berechnung von Wolken in einem Deutschland-Modell (Opens external link in current windowHD(CP)2-Projekt).



 

HLRE-3 "Mistral" nimmt Betrieb auf (Fotos: M. Böttinger, DKRZ)

 

Das HLRE-3 besteht aus Rechnerkomponenten von Atos/Bull, einem Festplattensystem von Xyratex/Seagate sowie einer Hochleistungsvernetzung von Mellanox. Diese Komponenten sind auf 41 zum Teil tonnenschwere, telefonzellengroße Schränke verteilt, die mit Bündeln von Glasfaserleitungen verbunden sind. Die insgesamt etwa 1.500 Rechnerknoten der ersten Ausbaustufe von „Mistral“ erreichen mit einer Spitzenrechenleistung von 1,4 PetaFLOPS eine Zunahme um etwa den Faktor neun gegenüber der Rechenleistung des Vorgängers „Blizzard“. In der Top500-Liste der schnellsten Rechner der Welt vom Juli 2015 landete „Mistral“ auf Platz 56. Die Prozessoren und Hauptspeichermodule des Systems werden mit Wasser, das Temperaturen von um die 35°C hat, besonders innovativ und energieeffizient gekühlt. Diese „Warmwasserkühlung“ erlaubt ganzjährig eine „freie Kühlung“, d.h. es müssen keine weiteren stromintensiven Kühlaggregate angeschafft und betrieben werden.


Klimamodellierer haben besondere Anforderungen an das Datenspeichersystem, da mit den Modellen kontinuierlich sehr große Datenmengen erzeugt werden. Der Hauptspeicher des neuen HLRE-3, das Kurzzeitgedächtnis des Supercomputers,  wächst nahezu um den Faktor sechs auf insgesamt 120 Terabyte. Der eigentliche Arbeitsbereich ist der besonders große und leistungsfähige Festplattenspeicher. Das neue, parallele Dateisystem bietet mit zunächst über 20 Petabyte mehr als dreimal so viel Speicherplatz wie das der „Blizzard“. Das entspricht den Festplatten von 20.000 gut ausgestatteten Notebooks. Nicht nur am DKRZ werden Hochleistungsrechnersysteme und die zugehörige Infrastruktur für die Datenhaltung betrieben, auch andere Klimarechenzentren in der Welt arbeiten mit dieser symbiotischen Infrastruktur. Vergleicht man allerdings in Deutschland die Dateninfrastruktur des DKRZ mit der anderer Rechenzentren, die auch für andere Forschungsaufgaben genutzt werden, so wird sehr deutlich, welchen Vorteil das DKRZ den Klimaforschern bietet: die Leistungsfähigkeit der Datenspeicherungsinfrastruktur – gemessen am jeweiligen Rechnersystem – ist anderswo deutlich geringer. Für die längerfristige Nutzbarkeit der berechneten Daten verfügt das DKRZ zusätzlich über eines der größten und leistungsfähigsten wissenschaftlichen Datenarchivsysteme weltweit. Das hier beheimatete World Data Center for Climate (WDCC) sammelt Klimadatenprodukte schwerpunktmäßig im Bereich der Klimamodellierung, archiviert diese und macht sie weltweit verfügbar.


Entsprechend des technologischen Entwicklungstrends wächst allerdings auch am DKRZ die Speicherkapazität nicht ganz so schnell wie die Rechenleistung. Die Investitionen, die hier getätigt werden, müssten zukünftig noch deutlicher auf die Speicherkapazität verlagert werden, da bei einem Zuwachs an Rechenleistung auch ein deutlicher Anstieg der Datenproduktion zu erwarten ist. Um weiterhin ein balanciertes System anbieten zu können, sollten zusätzlich Investitionen in „On-line“-Diagnose, „smarte“ Auswertungsverfahren, neueste Kompressionsalgorithmen und Performance-Optimierungen der Auswertungssoftware dem erwarteten Engpass entgegenwirken. Das „Scientific Computing Lab“ (SCLab) des MPI-M hat die Aufgabe, solche Investitionen in die Software-Infrastruktur in Abstimmung mit dem DKRZ zu unterstützen, und arbeitet dabei auch im Bereich der Modellentwicklung und -optimierung eng mit den Mitarbeitern des DKRZ zusammen.


Für die Gesamtinvestition, die neben einer erheblichen Aufrüstung des Datenarchivsystems und umfangreichen Ergänzungen und Anpassungen der baulichen Infrastruktur auch eine Forschungskooperation mit Atos/Bull zur Entwicklung effizienterer Rechenalgorithmen für die Klimaforschung umfasst, standen 41 Millionen Euro zur Verfügung, die etwa zu zwei Dritteln vom Bundesministerium für Bildung und Forschung (BMBF) und zu einem Drittel von der Helmholtz-Gemeinschaft finanziert wurden. Die Betriebskosten des DKRZ werden zu etwa 55% von der Max-Planck-Gesellschaft,  zu etwa 27% von der Freien und Hansestadt Hamburg (vertreten durch die Universität) und zu jeweils etwa 9% vom Alfred-Wegener-Institut (Helmholtz-Zentrum für Polar- und Meeresforschung) sowie vom Helmholtz-Zentrum Geesthacht getragen.

Mehr Informationen und Quellen:
DKRZ:
Opens external link in current windowwww.dkrz.de

Opens external link in current windowwww.dkrz.de/about/kontakt/presse/aktuell/am/hlre3-installation

 

Pressemitteilung des DKRZ:
Opens external link in current windowwww.dkrz.de/pdfs/presse-und-artikel/Juli2015_ISC15_HLRE3-Inbetriebnahme.pdf

 


Kontakt:
Prof. Dr. Jochem Marotzke
Max-Planck-Institut für Meteorologie
Tel.: 040 41173 311 (Kornelia Müller)
E-Mail: Opens window for sending emailjochem.marotzke(at)mpimet.mpg.de

Reinhard G. Budich
Max-Planck-Institut für Meteorologie
Strategische IT-Partnerschaften
Tel.: 040 41173 369
E-Mail: Opens window for sending emailreinhard.budich(at)mpimet.mpg.de

Michael Böttinger
Deutsches Klimarechenzentrum (DKRZ)
Presse- und Öffentlichkeitsarbeit
Tel.: 040 460094 344
E-Mail: Opens window for sending emailboettinger(at)dkrz.de