LLMs von Meta: Die vierte Llama-Herde ist angekommen
In einer Hauruckaktion ist Llama 4 erschienen. Nach der Begeisterung, die Llama 3 ausgelöst hatte, überrascht und enttäuscht der Nachfolger an einigen Stellen.
(Bild: Erstellt mit KI (Midjourney) durch iX-Redaktion)
- Dr. Christian Winkler
Dass Llama 4 vor der Tür stand, war zu erwarten, aber dass Meta das große Sprachmodell plötzlich ausgerechnet am Wochenende veröffentlicht hat, überraschte dann doch. Am 5. April erschienen die neuen Llama-Modelle. Vermutlich sollten die Modelle noch vor der Llama-Konferenz am 29. April zur Verfügung stehen. Eventuell hat Meta auch versucht, dem neuen Modell von Alibaba (Qwen3) zuvorzukommen, das ebenfalls in den nächsten Tagen erscheinen soll.
Blick auf die Architektur
Meta hat die Architektur von Llama 4 exakt dokumentiert und setzt neuerdings wie die Konkurrenz von DeepSeek auf Sparse-Mixture-of-Experts-Modelle. Die bisherigen Llama-Modelle waren dicht besetzt und standen in unterschiedlichen Größen zur Verfügung.
Videos by heise
Auch die neue Reihe kommt mit unterschiedlichen Modellgrößen. Das kleinere Modell Llama 4 Scout verfügt über 109 Milliarden Parameter in 16 Experten, daher sind immer "nur" 17 Milliarden Parameter aktiv. Das größere Modell Llama 4 Maverick hat sogar 400 Milliarden Parameter in 128 Experten, von denen ebenfalls immer 17 Milliarden aktiv sind.
Im Vergleich zu den bisherigen Modellen ist das ein Größenzuwachs. Bei Llama 3 gab es zwar auch ein – dicht besetztes – Modell mit 400 Milliarden Parametern, das aber verhältnismäßig selten verwendet wurde. Beliebter waren neben dem Modell mit 70 Milliarden Parametern insbesondere die kleineren mit sieben Milliarden und weniger Parametern – bis zu den Small Language Modells mit einer und drei Milliarden Parametern. In dieser Größe gibt es bei Llama 4 noch keine Modelle, und der Blogartikel lässt offen, ob noch welche geplant sind.
Stattdessen beschreibt Meta darin äußerst ausführlich ein noch größeres Modell: Llama 4 Behemoth mit zwei Billionen Parametern in 16 Experten, bei denen "nur" 288 Milliarden aktiv sind. Es fungiert als sogenanntes Teacher-Modell für Maverick und Scout, ist aber noch nicht fertig trainiert. Interessanterweise scheint es dennoch in vielen Bereichen allen anderen (auch proprietären) Modellen überlegen zu sein, wobei das im Moment führende Gemini 2.5 im Vergleich fehlt.
Wie gut Behemoth dann wirklich sein wird, lässt sich erst nach der Veröffentlichung entscheiden. Auf jeden Fall sind dafür erhebliche Hardware-Ressourcen notwendig, da das Modell sogar größer als GPT-4 ist. Ein ganzer Cluster von H100- oder gar GB200-Systemen ist erforderlich, um dieses Modell zu betreiben.
Llama 4 Scout soll eine Kontextlänge von zehn Millionen Token verarbeiten können. Das ist extrem groß, andere Modelle haben oft nur Kontextlängen von 128 Tausend Token, manche gehen bis zu einer Million. Bei all diesen langen Kontexten ist das "Lost In the Middle"-Problem noch nicht zufriedenstellend gelöst beziehungsweise nicht einmal verstanden. Es manifestiert sich darin, dass die Modelle zwar den Text am Anfang und am Ende des Kontexts korrekt mitberücksichtigen, den in der Mitte aber vergessen. Bei 10 Millionen Token ist die Mitte mutmaßlich ziemlich groß – so genau hat man die Modelle aber bisher nicht getestet. Für das Pre- und Post-Training des Modells nennt Meta im eigenen Blogbeitrag eine Kontext-Länge von 256.000 Token. An welcher Stelle die Feinabstimmung auf die Kontextlänge von 10 Millionen Token erfolgte ist unklar.
Meta sagt, dass es das Training der Modelle mit reduzierter Genauigkeit (FP8) durchgeführt hat. Dieses Verfahren wurde erstmals von DeepSeek durchgeführt. Interessanterweise werden die Scout-Gewichte von Meta trotzdem nur als bfloat16 veröffentlicht, für Maverick findet sich auch eine FP8-Version bei Hugging Face. Ansonsten hat Meta einen Standardtrainingsprozess mit Supervised Finetuning und Direct Preference Optimization durchgeführt. Reinforcement Learning spielte zwar auch eine Rolle, aber nicht in dem Maße wie bei DeepSeek R1. Über die insgesamt benötigte GPU-Zeit schweigt sich Meta aus.
Interessant ist das Chat-Template, das registrierte User bei Hugging Face finden. Es enthält noch Kommentare wie "{#- FIXME: The processor requires an array, always. #}", offenbar ist Meta nicht ganz fertig geworden. Das Cutoff-Datum ist ebenfalls erkennbar: 26.7.2024. Das steht in geringem Widerspruch zu dem empfohlenen System-Prompt, der August 2024 erwähnt.
Übrigens ist Llama 4 das erste Modell, das bei Hugging Face im XET-Format gespeichert ist, das langfristig das Git-Format ablösen und dabei wesentlich schneller sein soll, weil es auf die Binär-Struktur der Sprachmodell-Daten optimiert ist.
Erste Versuche
Bei allen Llama-4-Varianten handelt es sich um sehr große Modelle, die auf die wenigsten Consumer-Grafikkarten passen werden. Meta schreibt im Blog, dass eine einzelne H100-GPU für Scout ausreichen würde, die aber auch die Wenigsten einfach herumliegen hätten. Selbst wer darauf zugreifen kann, muss das Modell in vier Bit quantisieren.
Quantisiert kann man die Modelle aber auch sehr gut auf einer CPU betreiben, gerade auf einem Mac. Auch dazu ist viel Speicher notwendig, denn die in vier Bit quantisierten Scout-Modelle sind schon über 60 GB groß. Das MLX-Framework von Apple wurde schon an Llama 4 angepasst, llama.cpp kann seit Release b5074 (vom 8.4.2025) damit umgehen. Es spricht also nichts dagegen, die Modelle auszuprobieren. Die hier gezeigten Ergebnisse habe ich auf einem Mac Studio M2 Ultra generiert und dafür ein Q4_K_M-Modell benutzt, das etwa 29 Token pro Sekunde generierte. Das zum Vergleich hinzugezogene IQ4_X_S-Modell war etwas schneller und produzierte ähnliche Ergebnisse. Nutzt man das Apple-eigene MLX-Framework, kann man eine etwa 30 Prozent bessere Performance erwarten.
Llama 4 kennt Heise, aber nicht ganz richtig. Im Folgenden sind Fehler in Fettschrift und unüberprüfbare Behauptungen kursiv ausgezeichnet:
> Erkläre den Heise Zeitschriftenverlag!
Der Heise Zeitschriftenverlag ist ein deutscher Verlag, der sich auf die Veröffentlichung von Fachzeitschriften und Online-Medien spezialisiert hat. Der Verlag wurde 1948 in Hannover gegründet und ist heute einer der größten und renommiertesten Fachverlage für Informationstechnologie (IT) und Telekommunikation in Deutschland.
Der Heise Zeitschriftenverlag ist vor allem bekannt für seine Publikationen in den Bereichen Computer, Elektronik und Telekommunikation. Zu den bekanntesten Titeln des Verlags gehören:
c't: Eine der größten und einflussreichsten Computerzeitschriften Deutschlands, die sich auf die Themen Computerhardware, -software und IT-Technologie konzentriert.
iX: Eine Zeitschrift für Unix- und Linux-Administratoren sowie für alle, die sich mit IT-Infrastruktur und -Sicherheit beschäftigen.
MINDfactory: Eine Zeitschrift für alle, die sich für Elektronik, Robotik und Heimautomatisierung interessieren.
Der Heise Zeitschriftenverlag hat sich im Laufe der Jahre auch auf Online-Medien ausgeweitet und betreibt verschiedene Webseiten, Foren und Social-Media-Kanäle. Zu den Online-Angeboten gehören unter anderem:
- heise.de: Die Website des Verlags, die aktuelle Nachrichten, Artikel und Hintergrundinformationen zu IT- und Telekommunikationsthemen bietet.
- c-t-online.de: Die Online-Ausgabe der Zeitschrift c't.
- ix.de: Die Online-Ausgabe der Zeitschrift iX.
Der Heise Zeitschriftenverlag ist Mitglied im Börsenverein des Deutschen Buchhandels und im Verband der Zeitschriftenverleger. Der Verlag beschäftigt etwa 200 Mitarbeiter und hat seinen Sitz in Hannover.
Insgesamt ist der Heise Zeitschriftenverlag ein wichtiger Anbieter von Fachinformationen und -medien im Bereich der Informationstechnologie und Telekommunikation in Deutschland und genießt bei Fachleuten und Enthusiasten gleichermaßen ein hohes Ansehen.
Llama 4 liefert überzeugende, aber falsche Antworten, auch auf völlig belanglose Fragen, die aber häufig an Sprachmodelle gestellt werden:
> How many "r" are in "strawberry"?
There are 2 "r"s in "strawberry".
> Wie viele „E“ sind in „Erdbeere“?
In "Erdbeere" sind 3 "E" enthalten.
Die Ergebnisse sind gemischt. Llama 4 Scout ist sicher ein solides Modell, aber so viel besser als Qwen2.5-72B ist es auf den ersten Blick nicht. Dabei handelt es sich um einen ersten subjektiven Eindruck. In einzelnen, speziellen Szenarien könnte sich das Bild komplett wandeln.
Einschätzung der Modelle
Das Release von Llama 4 kam äußerst überraschend. Viele Experten hatten mit einer baldigen Veröffentlichung gerechnet, aber der spontane Samstagstermin ist ungewöhnlich. Gleiches gilt für die Architektur und die Auswahl der Modelle. Im Vorfeld hatte man mit mehr und mit kleineren Modellen gerechnet. Die aktuelle Auswahl scheint speziell und lässt möglicherweise darauf schließen, dass Meta das Modell sehr kurzfristig, um nicht zu sagen überhastet veröffentlicht hat. Dass ein Reasoning-Modell fehlt, ist bei dem Hype um DeepSeek R1 absolut unverständlich.
Interessant ist auch das Szenario bei Meta. Erst vor kurzem ist dort die AI-Chefin zurückgetreten. Angeblich gab es intern auch schon Probleme mit dem Training von Llama 4. Das alles lässt vermuten, dass Meta sich hier unter Zugzwang sah, insbesondere was die nächsten erwarteten Veröffentlichungen neuer Modelle und die Llama-Konferenz betrifft. Dafür spricht auch, dass die Modelle teilweise in BF16, teilweise noch zusätzlich in FP8 erschienen sind. Der Grund dafür bleibt im Dunkeln und könnte auch in der Veröffentlichungshektik zu finden sein.
Maverick ist im Chatbot-Arena-Benchmark auf Rang zwei gelandet. Dass sich die dortigen Ergebnisse bisher nicht reproduzieren lassen, begründen die Betreiber des Benchmarks damit, dass Meta ihnen ein speziell optimiertes Modell zur Verfügung gestellt hat. Inwiefern die Objektivität gewahrt ist, mag jeder selbst entscheiden, denn andere Modelle stehen ebenfalls nur als Black Box zur Verfügung. Chatbot Arena will nun die Regeln für Modelle und das Ranking ändern.
Insgesamt ruft Llama 4 ein äußerst gemischtes Echo hervor, beispielsweise im LocalLLaMA-Subreddit. Auch die Lizenz lässt viele Fragen offen, unter anderem ist eine Verwendung der multimodalen Features für Personen oder Firmen mit Sitz in der EU nicht erlaubt. Eine für eine Organisation gestellte Anfrage für den Download wurde aber innerhalb von wenigen Minuten positiv beantwortet – auch das ist eine gewisse Ungereimtheit. Eine spannende Zusammenfassung hat Simon Willison in seinem Blog geschrieben.
Das ist etwas ernüchternd vor dem Hintergrund der großen Fortschritte, die Llama 3 gebracht hatte. Das "kleine" Modell mit acht Milliarden Parametern war dem vorherigen Llama 2 mit 70 Milliarden überlegen und kam an die Performance von GPT-3.5 heran, das um ein Vielfaches größer und wenige Monate zuvor noch State of the Art war. Auch die Fortschritte von Qwen2.5 und insbesondere von DeepSeek waren spürbar. Llama 4 bleibt (zumindest bisher) weit hinter den Erwartungen zurück.
Dennoch bleibt es bei großen Sprachmodellen nach diesem kontroversen Release spannend. Llama 4 wird sich an Qwen3 messen müssen, das noch im April erscheinen soll. Auf der Entwicklerkonferenz am 9.4.2025 war es zwar noch nicht so weit, aber vielleicht lässt sich Alibaba gerade deswegen noch Zeit, um das Modell weiter zu optimieren. Das neue Release von DeepSeek (ohne Reasoning) Ende März hat schon erhebliche Verbesserungen gebracht, und eventuell ist bald mit einem R2-Reasoning-Modell zu rechnen (dazu wurden schon neue Methoden veröffentlicht). Es bleibt spannend, allen Zöllen zum Trotz ist die KI-Welt weiterhin globalisiert und der Ausgang des Rennens offen. Der 2025 AI Index Report der Stanford University zeigt aber auch, dass es nicht nur um die Basismodelle geht, sondern Geschäftsanwendungen eine immer wichtigere Rolle spielen. Hier gibt es sehr interessante Möglichkeiten, sich mit einem neuen KI-Geschäftsmodell gut zu positionieren oder existierende Unternehmen in eine bessere Ausgangsposition mithilfe von KI zu bringen.
Wer einen spekulativen Blick in die Zukunft werfen will, kann sich bei AI 2027 inspirieren lassen.
Abschnitt zur Kontextlänge der Modelle korrigiert.
(rme)
