Top500: Intel-Supercomputer Aurora nun endlich über 1 Exaflops, aber ...

Inhaltsverzeichnis

Der US-amerikanische Supercomputer Aurora mit Intel-Chips läuft am Argonne National Laboratory und steht mit 1,012 Exaflops (EFlops) auf der 63. Top500-Liste der weltweit schnellsten Supercomputer. Die wurde auf der International Supercomputing Conference ISC '24 in Hamburg enthüllt. An der Spitze der Liste bleibt allerdings weiter das erste Exascale-System der (westlichen) Welt, der seit 2022 amtierende Frontier mit AMD-Technik und jetzt 1,206 EFlops. Beide Systeme hat die HPE-Sparte Cray aufgebaut.

Aurora hätte längst starten sollen, auf die 62. Top500-Liste schaffte es aber nur ein Teilsystem mit etwa der halben Leistung. Nun sind laut HPE sämtliche 10.624 Knoten eingebaut, jeder mit zwei 52-Kern-Prozessoren (Xeon Max 9470) und sechs Rechenbeschleunigerrn des Typs Intel Data Center GPU Max (Ponte Vecchio). HPE betont aber, dass am Benchmark-Lauf mit dem FP64-Gleitkomma-Benchmark Linpack nur rund 87 Prozent des Systems mitrechneten. Das soll offensichtlich nahelegen, dass Aurora mindestens 1,16 EFlops schafft – immer noch weniger als Frontier. Eigentlich nennt Intel Aurora ein 2-EFlops-System – da ist noch viel Feinarbeit nötig.

Frontier legte seit der ersten Vorstellung 2022 um fast 10 Prozent zu. Die theoretische Spitzenleistung des Systems (Top500-Angabe Rpeak) beträgt inzwischen 1,68 EFlops. In einem neuen Linpack-Lauf war der Frontier mit 1,206 EFlops ein Quäntchen schneller als vor einem halben Jahr (62. Top500-Liste). Na ja, ein "Quäntchen" von 12 PFlops, damit würde ein Rechner in der Top500-Liste auf Platz 83 kommen …

Bild 1 von 10

Top10 der 63. Top500-Liste vom November 2023 (10 Bilder)

Top500-Rang 1

Aurora vs. Frontier

Weil beide Exascale-Systeme aus der von HPE übernommenen Cray-Linie stammen, sind ihre einzelnen Knoten (Nodes) mit dem gleichen Interconnect Slingshot-11 verknüpft. Große Unterschiede gibts aber bei anderen Kennwerten. So ist die Energieeffizienz der Intel-Prozessoren im Aurora beim Linpack mit 26,15 GFlops/Watt gerade mal halb so gut wie die der AMD-Konkurrenz im Frontier. Intel begründet das damit, dass die Matrix-Engines beim Ponte Vecchio anders als AMDs MI250X auf doppelt genaue Berechnungen verzichten und sich besser für die kleineren KI-Datenformate eignen: TF32, FP16, BF16 und INT8. Bei der Linpack-Variante HPL-MxP, die mit gemischten Datenformaten (Mixed Precision) arbeitet, können dann auch diese Matrix-Engines zuschlagen und erzielen so mit 10,6 EFlops tatsächlich etwas mehr als Frontier mit 10,2 EFlops (zuvor 9,9 EFlops). Aber ob sie dann in der Energieeffizenz mit AMD mithalten können, ist eher fraglich.

Beim HPCG-Benchmark (High Performance Conjugate Gradients), der weit stärker auf Speicher-Performance abzielt als etwa der Linpack-Benchmark, sieht's bei Aurora derzeit auch nicht wirklich top aus. In dieser Kategorie erreicht Aurora mit 5612 TFlops nur etwas mehr als ein Drittel vom Frontier (14.054 TFlops). Hier, so HPE, seien aber nur 38,5 Prozent des Systems beteiligt gewesen.

Neue Top500-Systeme

Den HPCG-Vergleich dominiert weiterhin der japanische Fugaku mit seinen A64FX-ARM-Prozessoren, der unverändert Platz 4 der Top500-Liste belegt. Dazwischen liegt noch das Azure-Cloud-System "Eagle" von Microsoft, bestückt mit Xeon Platinum und Nvidia H100 mit 561 PFlops. Energieeffizienz- oder HPCG-Werte sind bei Microsoft allerdings Fehlanzeige.

Wirklich neu in den Top10 ist nur das System Alps vom Centro Svizzero di Calcolo Scientifico (CSCS) in der Schweiz auf Platz 6 mit 270 PFlops.

Außerdem wurde der MareNostrum 5 in Spanien noch ein bisschen ausgebaut und überholt mit jetzt 175 PFlops den betagten, noch mit IBM Power 9 arbeitenden Summit des Oak Ridge National Lab (150 PFlops).

Alps hat es in sich, denn darin rechnet Nvidias neue (ARM-)Hardware: Grace-Hopper-Superchips GH200, die sich aus den Grace-CPUs, Hopper-GPUs und reichlich HBM3e-Speicher zusammensetzen. Grace basiert dabei auf den von ARM entwickelten Neoverse-V2-Recheneinheiten.

Auch Alps entstammt der erfolgreichen HPE-Cray-Linie, die aktuell für die meisten wichtigen Neuigkeiten zuständig ist. Das weiterhin schnellste europäische System Lumi in Finnland auf Platz 4 gehört zur selben Familie, es ist im Grunde ein kleiner Frontier mit AMD-Technik.

Energieeffizienzsieger Jülich

Außer Alps konnten sich in der 63. Top500-Liste noch sechs weitere Systeme mit Grace-Hopper-Superchips platzieren, die meisten davon ebenfalls von HPE-Cray. Alle zeichnen sich durch sehr hohe Energieeffizienz aus. Und das effizienteste davon steht in Deutschland, in Jülich und heißt Jedi. Es wurde nicht von HPE aufgebaut, sondern – noch unter dem alten Bull-Namen Bullsequana XH3000 – von der Atos-Tochter namens Eviden. Mit 72,73 GFlops/W setzt es in der neuen, 25. Green500-Liste neue Maßstäbe. Weitere drei Grace-Hopper-Systeme liegen mit 65 bis 68 GFlops/W dahinter, unterbrochen nur auf Platz 4 durch Henri mit Nvidia H100 am Flatiron Institute in den USA mit 65,4 GFlops/W.

Es ist das zweite Mal in der Green500-Geschichte, dass ein deutsches System die Spitzenposition übernimmt. 2014 erklomm ein mit AMD-Prozessoren und AMD-Grafikkarten bestückter Rechner der Gesellschaft für Schwerionenforschung (GSI) dank pfiffiger Software mit 5,27 GFlops/W den ersten Platz – also etwa 1/14tel des jetzigen Rekords.

Für die Green500 dürfen die Betreiber übrigens speziell für Energieeffizienz optimierte Linpack-Läufe durchführen, während die auf Performance getrimmten Läufe für die Top500 etwas schlechtere Energieeffizienz haben können. So kommt Jedi in der Top500 "nur" auf 66,91 GFlops/W und ist damit auch in der Top500-Liste knapp vorn, dicht gefolgt vom Henry, der 65,4 GFlops/W erreicht.

Apropos Energieverbrauch, Aurora markiert mit 38,7 MW aktuell die Spitze. Für die Zukunft zeichnen sich große Rechenzentren mit 100 und mehr Megawatt ab, die dann mit eigenen Kraftwerken versorgt werden müssen: Bring Your Own Power (BYOP)!

Länder, Hersteller, Prozessoren

Bei der Länderverteilung baut die USA mit 169 (zuvor 161) Systemen den Vorsprung weiter aus, vor China, das ja bis auf 13 von Lenovo neu gemeldeten Systemen nichts mehr beiträgt und so peu à peu aus der Liste fällt. Nun stehen noch 80 (zuvor 104) chinesische Systeme drin. Inoffiziell betreibt China aber längst eigene Exascale-Supercomputer.

Deutschland liegt auf Platz 3, konnte gut von 36 auf 40 Systeme zulegen – vielleicht sind es auch nur 39, denn der Rechner auf Platz 185 in der vorläufigen Liste sieht stark nach einer Dublette des von Megware aufgebauten Marvin an der Uni Bonn aus. Ansonsten kam neben dem schon erwähnten Jülicher Jedi mit 5,5 PFlops auf Platz 189 noch Claix-2023 der Uni Aachen mit 3,8 PFlops (Platz 286) hinzu sowie Horeka-Teal an der Uni Karlsruhe (3,1 PFlops, Platz 299). Spitzenreiter in Deutschland bleibt wie gehabt das Juwels Booster Module mit 44 PFlops aus dem Jahre 2020. Hinter Deutschland folgen dann Japan (29, zuvor 32), Frankreich (24, zuvor 23) und Großbritannien (16, zuvor 15).

Bei den Herstellern dominiert mengenmäßig weiterhin Lenovo mit 163 Systemen (zuvor 169) vor HPE (112, zuvor 103) und Eviden (49, zuvor 48). Bezogen auf die Performance ist hingegen HPE mit summiert fast 4 EFlops weit voraus, Eviden folgt mit 0,77 EFlops vor Lenovo mit 0,61 EFlops.

Nur noch 61 Prozent aller Systeme sind mit Intel-Prozessoren bestückt und da sind auch zumeist wohl nicht mehr existierende Oldtimer mit Xeon Phi mit drin. In der letzten Liste waren es noch 68 Prozent. AMD steigerte seinen Anteil von 28 auf 31 Prozent. Fujitsus A64FX hält 1,8 Prozent und der Prozessorneuling Nvidia schaffte mit seinen sieben Grace-Systemen 1,4 Prozent.

Immer noch sind mit 306 über die Hälfte aller verzeichneten Systeme weder mit GPU noch mit Rechenbeschleuniger ausgestattet. Platzhirsch Nvidia hat nun 172 (zuvor 167), gefolgt von AMDs Instinct MI mit 14 (zuvor 11). Intel steht mit vier Datacenter GPU Max und fragwürdigen sieben Xeon Phi in der Liste.

Die Gesamt-Performance aller Systeme in der Liste stieg vor allem dank Aurora um 16,8 Prozent auf 8,2 Eflops.

Altlasten

Wie schon gesagt, von den derzeit noch aufgelisteten Xeon-Phi-Systemen dürfte wohl kein einziges mehr laufen. So ist etwa der Trinity des Los Alamos National Lab schon 2020 außer Betrieb. Das ein- oder andere Altsystem wurde von der Top500-Crew inzwischen gestrichen, wie der nun schon sehr arg betagte Tianhe-1A aus dem Jahre 2010. Doch insgesamt stehen noch 33 Methusalem-Systeme in der Liste, die aus der Zeit von 2013 bis 2016 datieren, darunter etwa in Deutschland der SuperMUC Phase 2 vom Leibniz-Rechenzentrum, der auch schon 2020 abgeschaltet wurde.

Manches alte Top500-System kann man sogar kaufen, kürzlich bot die US-Regierung das 2016 auf Platz 20 eingeordnete Systeme "Cheyenne" in einer Auktion an.

Top10 der 63. Top500-Liste
Platz (zuvor)	System (Hersteller)	Einrichtung	Land	Linpack Rmax (PFlops)	Energie-Effizienz (GFlops/W)	HPCG (TFlops)	CPU / GPU
1 (1)	Frontier (HPE)	Oak Ridge National Lab	USA	1206	52,6	14054	AMD / AMD
2 (2)	Aurora (HPE/Cray)	Argonne National Lab	USA	1012	26,15	5612	Intel / Intel
3 (3)	Eagle	Microsoft Azure (Cloud)	USA	561	–	–	Intel / Nvidia
4 (2)	Fugaku (Fujitsu)	Riken	Japan	442	14,8	16004	Fujitsu / –
5 (3, upgrade)	Lumi (HPE/Cray)	EuroHPC/CSC	Finnland +LUMI-Länder	380	53,4	4586	AMD / AMD
6 (-)	Alps	CSCS	Schweiz	270		3671	Nvidia/Nvidia
7 (6)	Leonardo	EuroHPC/Cineca	Italien +EuroHPC JU	241	32,2	3114	Intel / Nvidia
8 (8, upgrade)	MareNostrum 5 ACC	EuroHPC/BSC	Spanien +EuroHPC JU	175	54	–	Intel / Nvidia
9 (7)	Summit (IBM)	Oak Ridge National Lab	USA	149	14,7	2926	IBM / Nvidia
10 (9)	EOS DGX Superpod	Nvidia	USA	121	–	–	Intel / Nvidia

(ciw)