Model-Schau: Offene Modelle aus den USA, große aus China und kleine aus Europa
Die chinesischen Modelle werden größer und die amerikanischen Modelle offener. Außerdem gibt es Neuigkeiten aus der Schweiz und endlich aus Deutschland.
(Bild: pncha.me/Shutterstock.com)
- Dr. Christian Winkler
Vom Sommerloch keine Spur, im Gegenteil: Die Meldungen zu neuen Sprachmodellen überstürzten sich in den vergangenen Wochen regelrecht. Während man aus China vor allem Superlative bezüglich der Modellgrößen hört, sind die offenen amerikanischen Modelle aktuell eher etwas kleiner – immerhin gibt es endlich welche. Eine andere Art von Superlativen aus den USA sind Modelle, die sich nicht an Vorgaben halten und andere Websites hacken.
In Europa tut sich zumindest ein wenig: Apertus aus der Schweiz gibt es in einer verbesserten Version und endlich mit Soofi auch ein deutsches Modell, das aber noch Startschwierigkeiten hat.
Große und kleine chinesische Modelle
Als der chinesische Anbieter Moonshot das neue Kimi K3-Modell ankündigte, gingen Schockwellen fast wie bei DeepSeek R1 durch die LLM-Community. Ein derart großes Modell mit 2,8 Billionen Parametern war vorher mit offenen Gewichten noch nicht verfügbar. Zudem erwies sich Kimi K3 in vielen Tests als äußerst stark und ist in den einschlägigen Benchmarks wie arena.ai oder artificialanalysis.ai stets auf den Top-Plätzen zu finden.
(Bild: mooam / 123rf)
Am 15. Oktober 2026 widmet sich die Online-Konferenz „LLMs im Unternehmen“ den lokalen Modellen: Für welche Anwendungen sie sich lohnen, welche Hardware erforderlich ist und wie man die Performance optimiert.
Neben der schieren Größe hat Moonshot einige Optimierungen zu bieten, die das Modell in der Inferenz deutlich gegenüber Kimi K2.6 deutlich beschleunigen. Dazu gehört ein optimierter Attention-Mechanismus, den Moonshot Kimi Delta Attention (KDA) nennt. Dabei wechseln sich lineare und globale Attention Layer im Verhältnis 3:1 ab. Das spart viel Rechenzeit und Speicherbedarf, was besonders bei langen Kontexten ins Gewicht fällt. Spannend ist auch die Mixture-of-Experts-Architektur (MoE), denn Kimi nutzt sage und schreibe 896 Experten. So viele waren bisher in offenen Modellen nicht verfügbar.
Dankenswerterweise hat Moonshot die Gewichte auch ins kompakte MXFP4-Format überführt und damit den Speicherbedarf im Vergleich zu dem sonst oft üblichen bfloat16 auf ein Viertel reduziert. Dennoch sind auch bei kleinen Kontexten mindestens 1,5 TByte RAM erforderlich, was das Budget vieler Firmen sprengt. Eine lokale Ausführung wird damit nur für die wenigsten in Frage kommen, ist aber möglich. Moonshot bietet Kimi K3 auch als Clouddienst an, dessen Kosten im Vergleich zu anderen Modellen überschaubar sind.
Auch beim Training nutzte Moonshot einige kreative Ideen, um die vielen Experten gleichmäßig zu trainieren. Laut Anbieter hat das Modell zudem seine eigenen Kernels optimiert, sodass es nun die eigene Inferenz schneller ausführen kann.
In eigenen Tests funktionierte das Modell hervorragend und gab ausführliche Antworten. Lediglich bei heiklen politischen Fragen war das Modell genau auf Kurs der Kommunistischen Partei.
Anfang August erschien mit Qwen3.8-Max das nächste große chinesische Modell. Ähnlich zu Kimi K3 steht Qwen3.8-Max zunächst nur per API zur Verfügung, aber die Gewichte sollen noch folgen. Auch das neue Qwen-Modell ist sehr groß, hat aber „nur“ 2,4 Billionen Parametern.
Alibaba hat Qwen3.8 die Aufgabe gegeben, das oh-my-cli-Projekt zu implementieren. Dabei handelt es sich um ein kleines Coding-Agentenframework für die Kommandozeile. Nach eigenen Aussagen hat das Modell fast 16 Tage autark daran gearbeitet, was beachtlich wäre. Auch wissenschaftliche Artikel hat das Modell überprüft, den darin verwendeten Programmcode verstanden und sogar optimiert. Der Artikel ist voller Superlative – was davon wirklich umsetzbar ist und mit welchem Aufwand, müssen unabhängige Tests verifizieren.
Qwen3.8 Max schneidet in den Benchmarks gut ab. Besonders im Bereich Webentwicklung scheint es mit den besten – auch geschlossenen – Modellen mithalten zu können. In eigenen Tests antwortet das Modell kompetent, war allerdings bei politischen Fragen äußerst schweigsam.
Leider finden sich bisher wenige technische Details zu Qwen3.8 Max. Es liegt nahe, dass sich die Architektur im Vergleich zu der offenen Qwen3.6-Reihe kaum verändert hat. Genaueres wird man erst nach der Veröffentlichung der Gewichte herausfinden. Die Community erwartet sie sehnlich – nicht nur wegen Qwen3.8 Max, sondern insbesondere auch wegen des gleichzeitig angekündigten Qwen3.8-27B. Das Vorgängermodell Qwen3.6-27B ist für viele lokale Anwender noch immer Mittel der Wahl, weil es insbesondere mit Multi-Token Prediction (MTP) gute Performance bietet (mehr als 100 Token/s auf einer RTX 5090) und sich daher hervorragend für lokale agentische Systeme eignet.
Vermutlich ist das Ende der Fahnenstange bei den großen chinesischen Modellen damit noch nicht erreicht. Die normalerweise zuverlässige Financial Times berichtet, dass die TikTok-Mutter Bytedance an einem Modell mit 10 Billionen Parametern arbeitet. Damit nähert sich die Zahl der Parameter denen, der besten geschlossenen Modelle. Bei Anthropics Mythos 5 vermutet man acht Billionen Parameter, bei Fable 5 des gleichen Anbieters fünf Billionen.
Flash-Modell von DeepSeek
Deutlich kleiner als Kimi K3 und Qwen3.8 Max ist das DeepSeek-Modell DeepSeek-V4-Flash-0731. Dennoch ist es spannend, weil es das deutlich größere DeepSeek-V4-Pro (Preview) in vielen Benchmarks schlägt. Die unscheinbare Versionsnummer 0731 – für den 31.07.2026 – hat hier viel bewegt und das Modell enorm verbessert.
Für ein Flash-Modell hat es allerdings viele Parameter: 284 Milliarden, von denen 13 Milliarden aktiv sind. Dankenswerterweise hat DeepSeek das Modell in Vier-Bit-Präzision bei den Experten trainiert, sodass man zwar nur 168 GByte Daten herunterladen und im Speicher unterbringen muss – das aber allein für die Gewichte. Mit solchen Modellen möchte man normalerweise mit einem großen Kontext arbeiten, der zusätzlich Platz in Anspruch nimmt.
Dass das Flash-Modell als stark gilt, hat die Community auf den Plan gerufen und einige interessante Projekte hervorgebracht. An erster Stelle sei hier vLLM-Moet genannt, das den Betrieb des Modells auf einer RTX 5090 mit immerhin 31 Token/s ermöglicht. Das ist deutlich schneller, als man mitlesen kann. Wer über eine RTX 6000 verfügt, kann das Modell gar mit 161 Token/s betreiben. Noch schneller geht es mit vier RTX 5090. In beiden Fällen sind allerdings schon fünfstellige Investitionen notwendig.
Wer einen Mac nutzt, kann stattdessen ds4 ausprobieren. Dank der speziellen Quantisierung lässt sich das Modell mit 128 GByte RAM betreiben. Mit einem dazu passenden spekulativen DSpark-Modell erreicht es Geschwindigkeiten von fast 40 Token/s. Es ist möglich, mehrere Macs zu koppeln, um die Geschwindigkeit zu steigern.
Wer sich den Hardware-Overkill nicht antun möchte, kann das Modell als Cloudservice günstig nutzen. Bei nicht sensiblen Daten ist das kein Problem. Neben DeepSeek selbst gibt es auch andere Anbieter, die das Modell im Portfolio haben. Aktuell verlangt OpenRouter 0,08 US-Dollar für eine Million Input-Token und 0,252 US-Dollar für eine Million Output-Token.
Eigene Experimente bescheinigen dem Modell gute Antworten, auch die politische Färbung ist (noch?) nicht ganz so ausgeprägt wie bei anderen Modellen. Fragen zu heise, zur Erdbeere und zur Waschanlage beantwortet das Modell sicher, auch pivot_table wird bei der pandas-Frage erwähnt. Diese Performance ist neben der handhabbaren Größe vermutlich ein Grund, warum das DeepSeek-Modell im Moment zu den beliebtesten Modellen überhaupt gehört.
Viele offene amerikanische Modelle
Ganz so groß wie ihre chinesischen Kollegen sind die offenen Modelle aus den USA (noch) nicht. Hier hat sich aber einiges getan, denn bis vor kurzer Zeit war gpt-oss-120B das größte offene Modell. Diese Position geht nun an Inkling von der Firma Thinking Machines Lab. Das Start-up profitiert vom Know-how seiner Mitgründerin Mira Murati, der ehemaligen Technikchefin von Open AI. Bei Inkling handelt es sich um ein sehr großes MoE-Modell mit 975 Milliarden Parametern, von denen 41 Milliarden aktiv sind. Im Gegensatz zu den großen Open AI-Modellen stehen die Inkling-Gewichte offen zur Verfügung.
Im Vergleich zu Kimi K3 ist das Modell zwar kompakt, aber für die meisten Anwender doch noch äußerst groß. Selbst im gewählten NVFP4-Format sind mehr als 500 GByte RAM erforderlich. Inkling hat eine interessante Architektur und verarbeitet in speziellen Layern sowohl Bilder als auch Sprache, um sie dann in den höheren Layern genau wie Text weiterverarbeiten zu können. Bisher gab es noch keine Modelle, die mit Text, Bildern und Sprache gleichzeitig umgehen konnten, auch wenn Nvidia mit gesprochener Sprache einige Fortschritte macht.
Thinking Machines erklärt den Trainingsprozess ausführlich, inklusive der verwendeten Optimizer. In der Beschreibung finden sich sogar die zugehörigen Slurm-Skripte für das Cluster-Training. Wer über einen entsprechend großen Cluster verfügt, darf sich über solche Insiderinformationen freuen.
Inkling eignet sich laut Thinking Machines noch nicht für Produktivumgebungen. In eigenen Tests hat sich das Modell allerdings als ziemlich robust erwiesen. Mit Tinker existiert eine Plattform, um das Modell mit eigenen Daten zu justieren. Thinking Machines garantiert, dass es die Daten nicht anderweitig verwendet.
Etwas neuer, mit „nur“ 276 Milliarden Gewichten, aber mit derselben Architektur arbeitet Inkling-Small. Auch hier stehen die Gewichte zum Download zur Verfügung. In den Eingabemodalitäten steht Inkling-Small seinem großen Bruder in nichts nach, wohl aber in der Performance. In eigenen Experimenten brachte es einige Fakten zu heise durcheinander. Die Frage zur Waschanlage beantwortete es kompetent und richtig, allerdings mit deutschen Grammatikfehlern und oft etwas ungelenk. Bei der pandas-Frage erwähnt es nicht die generische Funktion pivot_table. Alle Inkling-Modelle haben eingebaute Fähigkeiten für MTP.
Meta: Von Llama zu Muse
In einer noch kleineren Liga spielt das neue Modell von Meta Research. Von Meta kamen die Llama-Modelle, aber mit dem missglückten Llama 4 verabschiedete sich die Serie. Letztlich besann Meta sich aber doch wieder auf Sprachmodelle und veröffentlichte jetzt Muse Glimmer mit 30 Milliarden Gewichten als frei verfügbares Modell.
Im Vergleich zu dem fast 18 Monate alten Llama 4 hat sich einiges getan. So beherrscht Muse Glimmer Reasoning, und bei der Attention hat Meta nachgelegt. Sie funktioniert jetzt hybrid mit jeweils drei lokalen und einem globalen Attention Layer. Im Vergleich zu den oben vorgestellten Modellen mit jeweils einer Million Kontext-Token ist die maximale Kontextlänge von Muse Glimmer mit 128K Token deutlich kleiner.
Meta bietet ergänzend zum LLM ein erheblich beschleunigtes DFlash-Modell an, das man für spekulative Vorhersagen nutzen kann. Die 28 Milliarden Parameter teilen sich auf in zwei Milliarden für den Perception Encoder (für Vision) und 26 Milliarden für den reinen Text. Im Gegensatz zu den Inkling-Modellen (und auch zu Kimi K3 bzw. Qwen3.8 Max) lässt sich Muse Glimmer auf lokaler Hardware relativ komfortabel betreiben. In einer Vier-Bit-Quantisierung läuft es auch auf Grafikkarten mit 24 GByte RAM.
Eigene Tests verliefen vielversprechend. Das Gründungsjahr des Heise-Verlags und von c’t stimmen zwar nicht ganz genau, aber sonst gibt das Modell gute Antworten. Dass es zu der Frage nach der Waschanlage eine falsche Antwort liefert, ist bei einem dermaßen kleinen Modell kaum anders zu erwarten. Hingegen beantwortet Muse Glimmer die pandas-Frage sehr kompetent und weist auch auf die moderne pivot_table-Funktion hin. Die Behauptung von Meta, dass Muse Glimmer oft mit Qwen3.6-27B gleichziehen kann, erscheint durchaus realistisch – nur muss es sich jetzt mit dem Nachfolger messen.
Apertus und Soofi aus Europa
Knapp ein Jahr nach dem ursprünglichen Apertus-Release gibt es ein Update. Sowohl das kleine Modell mit acht Milliarden Parametern als auch das große mit 70 Milliarden Parametern haben die Schweizer aktualisiert. Im Vergleich zu den ursprünglichen Modellen hat sich vor allem das Post-Training verbessert, und die Modelle können nun multimodale Eingaben verarbeiten. Nach wie vor ist das Modell sehr offen: Apertus hat alle Trainingsdaten, Trainingsverfahren und weitere Details veröffentlicht. Interessanterweise beantwortet selbst das kleine Modell in eigenen Tests die Frage nach der Waschanlage richtig, behauptet aber fälschlicherweise, dass man ab pandas 1.x besser crosstab statt pivot verwenden sollte. Das große Modell macht es genau umgekehrt. Bei der Frage nach den „e“ in Erdbeere versagen beide Modelle (oder zählen nur die kleingeschriebenen „e“).
Mit Soofi kommt endlich auch ein Modell aus Deutschland. Dahinter stehen einige Forschungseinrichtungen und KI-Unternehmen. Die Koordination liegt beim KI Bundesverband, und das Bundesministerium für Wirtschaft und Energie fördert das Projekt.
Das Training erfolgte ausschließlich mit Energie aus erneuerbaren Quellen. Die ursprünglichen Benchmarks sahen zunächst gut aus, bis einem aufmerksamen Leser des Fachartikels auf arXiv auffiel, dass das Soofi-Team Benchmark-Daten zum Training verwendet hatte. Das Team hat den Artikel und die Benchmark-Ergebnisse inzwischen geändert, aber es bleibt ein fader Geschmack. Die zwischenzeitlich monatelang nicht beantwortete Anfrage, das Modell ausprobieren zu dürfen, verstärkt den skeptischen Eindruck. Möglicherweise wird hier hinter den Kulissen noch intensiv gearbeitet.
Mit rasanten Schritten in den Spätsommer
Der Spätsommer wird spannend – die Veröffentlichung von Qwen3.8 (in möglichst vielen Größen) wird einige dazu beitragen. Interessant wird auch, wie die großen US-amerikanischen Anbieter geschlossener Modelle auf die nun deutlich näher rückende chinesische Konkurrenz reagieren. Außerdem hat das Warten auf Soofi hoffentlich bald ein glückliches Ende – endlich würden dann mehrere europäische Modelle zur Verfügung stehen, zwischen denen man sich entscheiden kann.
(rme)
