Richtig große LLMs auf Mac-Clustern betreiben
Mit der Kommunikationsbibliothek JACCL liefert Apple den letzten fehlenden Baustein, um LLMs mit Billionen Parametern auf Mac-Clustern auszuführen. Wir haben es auf einem Verbund von vier Mac Studio mit insgesamt 2 Terabyte gemeinsamem Arbeitsspeicher ausprobiert.
Noch vor Kurzem war die Inferenz und das Feintuning sehr großer Sprachmodelle eine exklusive Domäne spezialisierter Nvidia-Grafikbeschleuniger in Rechenzentren, oft genug denen großer Cloud-Anbieter. Systeme mit Hunderten Milliarden oder gar Billionen von Parametern sprengten schlicht die Kapazitäten lokaler Workstations. Mit den Entwicklungen rund um das MLX-Framework und mlx.distributed, seine Erweiterung für verteilte Systeme, bricht Apple diese Phalanx auf. Die Technik verwandelt zusammengeschaltete Mac-Systeme in Compute-Cluster, die nicht nur sehr große Foundation Models bewältigen, sondern auch anspruchsvolle numerische Workloads aus Wissenschaft und Technik lokal ausführen können.
Möglich macht das Remote Direct Memory Access (RDMA) über Thunderbolt 5. Dadurch kommunizieren die Unified-Memory-Speicherbereiche mehrerer Macs mit minimaler Latenz und extrem hoher Bandbreite direkt miteinander, ohne die CPU durch aufwendige Protokollstacks zu belasten. Mehrere physische Macs verschmelzen so zu einem einzigen virtuell adressierbaren Großrechner.
