Hawk: Weltschnellster Supercomputer mit AMD-Prozessoren startet am HLR Stuttgart

Inhaltsverzeichnis

Mit einem Druck auf den virtuellen roten Knopf haben am heutigen Mittwoch Baden-Württembergs Ministerpräsident Winfried Kretschmann, der parlamentarische Staatssekretär Dr. Michael Meister vom Bundesministeriums für Bildung und Forschung und viele weitere Laudatoren den neuen Supercomputer Hawk (Falke) offiziell in Betrieb genommen. Dabei gab Kretschmann seiner Hoffnung Ausdruck, dass der Rechner als Ergebnis nach langer Rechenzeit nicht einfach 42 ausspuckt.

Je 19 Millionen Euro haben Bund und das Land Baden-Württemberg für die Anschaffung des von HPE aufgebauten Großcomputers am Höchstleistungsrechenzentrum Stuttgart (HLRS) beigesteuert. Dazu summieren sich noch die auch nicht unbeträchtlichen Betriebskosten – allein rund 4 Millionen Euro pro Jahr für die Energie. Der Rechner wird vorrangig für die Wissenschaft genutzt, allerdings auch auch von der Industrie, vor allem von zwei großen Automobilkonzernen aus der Umgebung. Industrielle Firmen steuern ebenfalls 6 Millionen Euro bei. Mehr Details zur Verteilung der Rechenzeit im Interview mit HLRS-Chef Prof. Michael Resch.

Der von HPEs SGI-Linie für AMD-Prozessoren konzipierte, mittelwarmwassergekühlte Apollo-9000-Rechner ist in 44 Racks mit insgesamt 11.264 AMD Epyc-7742-Prozessoren bestückt, von denen jeder mit 64 Kernen und 2,25 GHz Takt aufwartet. Diese Kerne erzielen rund 26 PFlops theoretischer Spitzenleistung. Damit ist Hawk in etwa genauso schnell wie Deutschlands bisheriger Spitzenreiter, der SuperMUC-NG am Leibniz-Rechenzentrum in München/Garching.

Schwergewichtsweltmeister

In der Praxis dürfte Hawk aber in vielen Fällen ein gutes Stückchen fixer sein als der mit Intel Xeon SP bestückte SuperMUC-NG, hat er doch weit mehr als doppelt so viele Rechenkerne. Und der SuperMUC-NG kann, wie alle neueren Intel-Rechner, nur dann voll punkten, wenn er die Vektorerweiterung AVX512 wirklich hocheffizient ausnutzen kann (so wie beim Linpack-Benchmark).

Mit seinen 720.896 CPU-Kernen könnte sich Hawk derzeit sogar Weltmeister der Rechner in der "Schwergewichtsklasse" nennen. Die Systeme mit mehr Rechenkernen besitzen entweder GPUs oder Leichtgewichtskerne, wie etwa Intel Xeon Phi oder IBM BlueGene.

Hawk: HPE Apollo 9000
Racks	44
Rechenknoten	5.632
Spitzenperformance	26 PFlops
Prozessor	AMD EPYC 7742 (Rome)
CPUS pro Knoten	2
Kerne pro CPU	64
Rechenkerne insgesamt	720.896
CPU Taktfrequenz	2,25 GHz
DIMMs insgesamt	90.112
Gesamte Systemhauptspeicher	~ 1,44 PB
Interconnect: InfiniBand HDR200
Interconnect-Topologie	Enhanced 9D-Hypercube
Interconnect--Bandbreite	200 Gbit/s
Anzahl InfiniBand Kabel	3.024
Gesamte Kabellänge	~20 km
Storage: DDN EXAScaler mit Infinite Memory Engine (IME)
Festplatten	~2,400
Gesamter Speicherplatz	~25 PByte
Maximale Energieaufname/Rack	~90 kW
Netzteile	2.112
Energie und Kühlung
Energieaufname im Normalbetrieb	~3,5 MW
Energieaufnahme Vollast bei LinPack	~4,1 MW
Kühlsysteme (CDUs)	6
Wasser Einlasstemperatur in die CDUs	25°C
Wasser AustrittsTemperatur zu den CDUs	35°C
Kühlflüssigkeitsmenge	~2.5 m³
Wassereingangstemperatur an den Kühltürmen	16°C
Wasserverdampfung	~9 m³/h

Fast schnellster Industrierechner

Eigentlich wollte das HLRS jedoch lieber mit der Eigenschaft "schnellster Industrierechner der Welt" auftrumpfen und hatte auch gute Chancen, den bisherigen Spitzenreiter in dieser Kategorie, den Power9-Rechner Pangea-III des französischen Mineralölkonzerns Total, von der Spitzenposition zu verdrängen.

Letzte Woche jedoch machte ein anderer europäischer Gas- und Erdölkonzern einen Strich durch diese Rechnung. Der HPC5 (High Performance Computing - Layer 5) von ENI in Italien bringt mit seinen 7280 Nvidia-V100-GPUs 51,7 PFlops auf die Waage und da gesellen sich noch die 22,4 PFlops des vorhandenen HRC4 hinzu, der weiterhin parallel betrieben wird. Bis zu 1 MW elektrischer Leistung holt sich ENI bei schönem Wetter von Solarzellen auf dem Dach.

Das HLRS hingegen hat sein Energiekontingent (maximal beim Linpack-Lauf 4,1 MW) mit Hawk ausgeschöpft und deinstalliert daher nun den Vorgänger Hazel Hen.

Und obwohl Linpack nicht gerade die Paradedisziplin des AMD-Rome-Prozessors ist, dürfte Hawk bei dem für die Platzierung in der Top500-Liste entscheidenden Benchmark auf etwa 20 PFlops kommen, also auch hier etwa auf das Niveau des SuperMUC-NG, der derzeit Platz 9 der Top500-Liste belegt. Vielleicht ist Hawk sogar etwas schneller. Beide deutschen Systeme sind ja pure "General-Purpose Systems", ausschließlich angetrieben von CPUs ohne spezielle Beschleuniger. Aber das HLRS ist mit HPE schon in der Planung der nächsten Ausbaustufe, da könnten dann auch GPUs in die Rechner einziehen.

Das ist beim dritten im Bunde der drei großen, im Gauss Centre for Supercomputing zusammengeschlossenen Rechenzentren, schon fest eingeplant: dem Jülicher SC. Gegen Mai – und somit rechtzeitig vor der Veröffentlichung der nächsten Top500-Liste – kann man dort mit dem bei Atos/Bull bestellten Booster 2 rechnen, ebenfalls bestückt mit AMD-Epyc-Prozessoren, aber vor allen Dingen mit Nvidias nächster GPU-Generation Ampere. Mir rund 70 PFlops theoretischer Spitzenleistung soll der Booster in deutlich höhere Regionen vordringen, falls denn die Software auf GPUs gut skaliert. Alle drei Rechenzentren des Gauss-Centre nehmen am europäischen PRACE-Projekt teil, sodass Wissenschaftler aus ganz Europa hier Rechenleistung nutzen können.

Interview: Supercomputer und Nachhaltigkeit

heise online: Herzlichen Glückwunsch zu dieser schönen neuen Anlage, allerdings hat es ja ein paar Verzögerungen gegeben.

Resch: Der Terminplan war sehr ambitioniert, wir hatten gehofft das System schon Anfang Januar aufgestellt zu haben. Es gab eine Verzögerung von sechs Wochen, aber das ist nicht dramatisch, spielt also keine große Rolle. Unser Problem war nur die Planung mit dem Abbau des alten Systems, weil wir haarscharf mit dem Energiehaushalt kalkulieren müssen.

heise online: Und jetzt laufen die ersten Tests ...

Resch: Ja, und nach den ersten Tests kommt dann der Langzeit-Stabilitätstest von 30 Tagen.

heise online: Gehört dazu auch der Linpack-Lauf?

Resch: Ja schon, aber den können die Systeme eigentlich immer. Der Stabilitätstest im Normalbetrieb mit vielen Usern, das ist viel stressiger ... Den Linpack haben wir bereits vor ein paar Wochen mal auf 121 Knoten laufen lassen und kamen damit auf sehr gute 84 Prozent Effizienz. Theoretisch müsse man dann hochgerechnet für das ganze System auf bis zu 21 PFlops kommen. Ich hab nichts gegen den Linpack, aber wenn ich mir eine Maschine kaufe, um einen hohen Linpack zu haben, habe ich meinen Beruf verfehlt. Wir haben die klare Aufgabe den Wissenschaftlern "sustained performance" zu bieten.

heise online: Nur liefert der Linpack doch so einen schönen einfachen Wert für die Politiker ....

Resch: Ach, ich habe drei Ministerpräsidenten [Teufel, Öttinger, Kretschmann] bei den Einweihungen da gehabt, und immer konnte ich ihnen das mit Linpack und der Top500-Liste erklären und alle haben das gleich verstanden – man muss ihnen eben nur die Wahrheit sagen.

heise online: Das Apollo-9000-System ist nirgendwo öffentlich dokumentiert, arbeitet es wie Apollo 8000 mit energieeffizienter Warmwasserkühlung?

Resch: Ja, wenn auch mit 25/35° nicht so warm wie bei anderen Warmwassersystemen, aber immerhin um 10 Grad wärmer als beim Vorgänger Hazel Hen. Wir erwarten, dass wir unsere Kühlaufwendungen monetär und energiemäßig substantiell reduzieren können. Dazu haben wir bereits vor fünf Jahren ein Programm gestartet, um eine maximale Optimierung für das Thema Stromversorgung und Kühlung zu erreichen.

heise online: Nutzen Sie auch die Abwärme?

Resch: Wir heizen bereits mit der alten Maschine das HLRS-Gebäude und möchten gerne das ins Gesamtheizungssystem der Uni integrieren. Aber mit den alten Gebäuden ist die Umrüstung schwierig, da setzen wir lieber auf die in den nächsten Jahren geplanten Neubauten.

heise online: Die Energieaufnahme ist die gleiche wie beim alten System?

Resch: In Normalbetrieb schon, nur beim Einschalten [und im Linpack-Lauf] liegt sie 10 bis 15 Prozent höher. Wir arbeiten hier mit zwei Instituten zusammen, um in der Zukunft den Energiebedarf noch viel variabler gestalten zu können.

heise online: Sie leiten ja nicht nur das HLRS, sondern auch das Institut für Höchstleistungsrechnen und geben Lehrveranstaltungen, darunter auch "Nachhaltigkeit für Ingenieure".

Resch: Wir haben zwei wesentliche Richtungen, die uns wichtig sind und die wir in den letzten zwei Jahren vorangetragen haben und die stehen alle unter dem Oberbegriff "Digitalisierung und Gesellschaft". Dazu gehört die Nachhaltigkeit, die sehr viel mit Energieverbrauch zu tun hat, aber auch mit dem allgemeinen ökologischen Fußabdruck, den wir hinterlassen. Es geht etwa bei der Kühlung auch um Chemikalien und um Lärmemissionen.

Das andere Thema heißt: Wie gehe ich mit meiner Verantwortung um, die ich gegenüber der Gesellschaft habe. Ich kann nicht nur ein technisches Ergebnis abliefern sondern muss mich auch mit der Frage befassen, welchen Einfluss ich auf bestimmte Themen habe. Dazu gehört der zusammen mit der Umweltakademie gestaltete Kurs "Nachhaltigkeit für Ingenieure", aber auch eine Vorlesung zu Computerethik. Hinzu kommt eine Arbeitsgruppe, die sich mit Wissenschaftstheorie oder -philosophie der Simulation beschäftigt. Vor zwei Jahren haben wir zudem mit Zustimmung der Ministerin einen gesellschaftspolitischen Beirat ins Boot geholt, mit Leuten aus ganz unterschiedlichen Lebensbereichen.

heise online: Man kann also heutzutage nicht einfach nur Rechner betreiben ..

Resch: Genau, man kann es sich gar nicht mehr leisten, zu sagen, man betreibe nur einen Rechner. Aus zwei Gründen: Bei den Budgets, um die es hier geht, kann man nicht einfach sagen: Gib mir das Geld und dann kauf ich ne Maschine, schalte sie ein und dann friss Vogel oder stirb. Und man muss sehr gut begründen können, wozu man ein Rechenzentrum betreibt. Ich glaube, dass die Hardwarekomponente in den kommenden Jahren eine weniger große Rolle spielen wird, als die Frage, wie ich aus diesen Systemen Lösungen hole. Meine Befürchtung ist, dass die Community weiter in die Richtung geht: Lasst uns Spitzenleistung maximieren und dann machen wir uns auf die Suche nach Anwendungen, die man auf diesen Rechnern einsetzen kann. Das halte ich für einen Fehler. Wir müssen uns heutzutage die Frage stellen, welche Probleme sollen wir lösen, wo sind dazu die Anwendungen, diewelche Rechenleistung brauchen und dann schauen wir, welcher Rechner nötig ist.

heise online: Inwieweit spielen Künstliche Intelligenz und Deep Learning dabei eine Rolle?

Resch: Bei der letzten Ausschreibung hatten wir noch keine KI-Benchmarks mit reingenommen, weil die Benutzer vor zwei Jahren noch nicht so weit waren. Aber wir haben ins Pflichtenheft geschrieben, dass der Partner KI ernst nimmt und mit uns den Bereich weiterentwickelt. Das ist ein ganz wichtiger Bestandteil der Kooperation mit HPE, für die eine große Kommission (12 Mitarbeiter von HPE und ähnlich viele von uns) die nächste Ausbaustufe plant, gut ein Drittel davon beschäftigt sich mit KI.

heise online: ... gibts also GPU-Karten zum Nachrüsten?

Resch: Darauf läuft's hinaus. Auch AMD ist in der Kommission, wir schauen aber auch auf Nvidia. Derzeit haben wir einen kleinen GPU-Cluster mit 64 Knoten und einen weiteren mit 64-NEC-Aurora-Karten. Und im Verlauf dieses Jahres werden wir wohl auch erfahren, wie es 2023/24 in Deutschland bei den drei großen Rechenzentren weitergehen wird.

heise online: Hawk wäre ja fast der schnellste Rechner für Industrieproduktion geworden, hätte nicht ENI vorige Woche den neuen Supercomputer HPC-5 in Betrieb genommen. Wie groß ist denn der Anteil der Industrie-Aufträge beim HLRS?

Resch: Die Industrie nutzt den Rechner zu 5 bis 8 Prozent. Weitere 8 Prozent sind für das europäische PRACE-Projekt reserviert. Der Rest wird von einem Lenkungsausschuss an wissenschaftliche Projekte vergeben.

heise online: ... und die Uni Stuttgart mit dem Exzellenzcluster Daten-integrierte Simulationswissenschaft (SimTech)?

Resch: Auch die hat kein Hausrecht, sondern muss sich wie alle anderen über den Lenkungsausschuss bewerben. Auch ich habe kein Mitspracherecht. Das obliegt zwölf Professoren von verschiedenen deutschen Universitäten [unter Vorsitz von Prof. Wolfgang Nagel, Leiter des Zentrums für Informationsdienste der TU Dresden]. Wir prüfen allerdings zuvor, ob ein Antrag technisch machbar ist. PRACE hat ein ein eigenes Komitee, das über die Anträge entscheidet.

heise online: Herr Prof. Resch, vielen Dank für das Gespräch.

Das Interview führte Andreas Stiller. (as)