Die Frage, die jeder zuerst stellt: Welches Modell läuft auf meiner Karte? Die ehrliche Antwort lautet — kommt darauf an, was du misst.

In Teil 1 stand die Kiste: ein ausgemusterter i9 mit 64 GB RAM und einer RTX 5060 Ti mit 16 GB. Jetzt kommt der Kassensturz. Nicht „geht das?", sondern: Was läuft wirklich, wie schnell, und wo hört es auf?

Vorweg die Zahl, die alles bestimmt: Von den 16 GB sind praktisch rund 15,5 GB nutzbar. Der Rest geht für Kontext und Verwaltung drauf. Das klingt nach Erbsenzählerei, entscheidet aber jedes Mal darüber, ob ein Modell läuft oder nicht.

Drei Klassen, die sich bewährt haben

Nach etlichen Versuchen sind drei Betriebsarten übrig geblieben. Nicht drei Modelle, die ich mal ausprobiert habe — drei, zwischen denen ich im Alltag tatsächlich umschalte.

Qwen3-14B in NVFP4 unter vLLM. Passt bequem, lässt Luft für Kontext. Einzelne Anfrage: 42 Token pro Sekunde. Das ist der Dauerläufer für alles, was in Masse anfällt.

Qwen3.8-27B, ein dichtes Modell, als Q3-Quantisierung mit rund 13 GB — komplett auf der Karte, ohne jede Auslagerung. Anfangs 28 Token pro Sekunde, inzwischen mit Multi-Token-Prediction 37,6 bei Prosa und 48 bei Code. Das ist der Gang für Aufgaben, bei denen es auf Verstand ankommt.

Qwen3.6-35B-A3B, ein Mixture-of-Experts-Modell, über llama.cpp mit den Experten auf der CPU: 49 Token pro Sekunde. Das größte Modell im Feld — und trotzdem nicht das langsamste.

Alle drei belegen dieselbe Karte und denselben Port. Gleichzeitig geht nicht, umschalten dauert zwei Minuten.

Warum das 27B in 4 Bit nicht hineingeht

Der naheliegende Wunsch wäre, das 27B in der üblichen 4-Bit-Quantisierung zu fahren — bessere Qualität als 3 Bit, breitere Werkzeugunterstützung. Es scheitert an einer simplen Rechnung: 4 Bit bedeuten rund 16,5 GB Gewichte. Bei 15,5 GB nutzbarem Speicher fehlt es vorne und hinten, und der Kontextspeicher ist da noch gar nicht eingerechnet.

Deshalb 3 Bit. Und weil das nach mehr Verzicht klingt, als es ist: Die verwendete Variante hält empfindliche Schichten feiner und spart nur an den robusten — im Mittel etwa 3,4 Bit. In den Qualitätsstichproben war das 27B trotz dieser Kompression der klügste Allrounder im Feld.

Kurios übrigens: Mehr Bits wären hier sogar langsamer. Selbst wenn 4 Bit passen würden, müssten pro Token mehr Bytes durch den Speicherbus — schätzungsweise 20 Prozent Tempoverlust. Man tauscht also nicht Tempo gegen Qualität, sondern bekommt beim kleineren Quant beides.

Die Sackgasse, die zwei Tage gekostet hat

Das 35B passt nicht in 16 GB. Der offensichtliche Ausweg heißt Auslagern: Was nicht auf die Karte passt, bleibt im Arbeitsspeicher. vLLM kann das, ein Schalter genügt.

Das Ergebnis waren 3 Token pro Sekunde. Unbenutzbar.

Der Grund ist lehrreich, weil er sich nicht wegkonfigurieren lässt: vLLM schaufelt die ausgelagerten Gewichte für jedes einzelne Token über den PCIe-Bus auf die Karte. Nicht die GPU ist der Engpass, sondern die Leitung dorthin.

Derselbe Aufbau über llama.cpp macht es genau andersherum: Die Experten bleiben im RAM und werden auf der CPU gerechnet. Nur das Ergebnis wandert zur Karte. Aus 3 Token pro Sekunde werden 49.

Dass das beim MoE-Modell funktioniert, hat einen Grund: Von den 35 Milliarden Parametern sind pro Token nur rund 3 Milliarden aktiv, der Rest döst. Bei einem dichten Modell gibt es nichts, was dösen könnte — jedes Token muss durch alle Gewichte. Lagert man dort Schichten aus, zieht man sie durch die DDR4-Bandbreite und landet bei 5 bis 8 Token pro Sekunde. Der Trick, der beim einen Modell 16-fach hilft, funktioniert beim anderen überhaupt nicht.

Wo Batching alles verändert

Bis hier ging es um einzelne Anfragen. Sobald mehrere gleichzeitig laufen, sieht die Welt anders aus — beim 14B unter vLLM:

→ 1 Anfrage: 42 Token/s
→ 8 Anfragen: 266 Token/s
→ 16 Anfragen: 541 Token/s
→ 32 Anfragen: 988 Token/s

Das ist Faktor 23 gegenüber der Einzelanfrage, und es ist kein Messfehler: Die GPU füllt die Wartezeit zwischen den Token einer Anfrage mit der Arbeit der anderen. Die 42 Token pro Sekunde im Einzelstrom sind die physikalische Grenze der Speicherbandbreite — daran ändert Batching nichts. Der Durchsatz dagegen skaliert.

Praktisch heißt das: Wer Dokumente stapelweise klassifiziert, sollte niemals seriell abarbeiten. Bei 988 Token pro Sekunde ist das grob eine Million Token pro Stunde.

Die Physik dahinter, in einem Absatz

Bei einer einzelnen Anfrage muss pro Token jedes aktive Gewicht genau einmal durch den Speicherbus. Die Karte schafft rund 448 GB/s. Bei 13 GB Gewichten sind das rechnerisch etwa 34 Token pro Sekunde — gemessen wurden 28. Die Lücke ist der übliche Aufschlag für alles, was sonst noch passiert.

Diese eine Formel erklärt fast alles: warum größere Quantisierung langsamer ist, warum das MoE-Modell trotz mehr Parametern schneller läuft, und warum eine schnellere Karte hier linear hilft.

Der unbequeme Vergleich

Ein Ergebnis hat mir nicht gefallen. Dasselbe 35B läuft auf meinem MacBook mit M2 Max und Unified Memory mit 78 Token pro Sekunde — gegen 49 auf der Kiste.

Der Grund ist wieder das MoE-Muster: Nur 3 Milliarden Parameter sind pro Token aktiv, es müssen also bloß gut 2 GB gelesen werden. Der Mac hat 400 GB/s für den gesamten Speicher, das Modell liegt vollständig darin, es gibt keinen CPU-Umweg. Auf der Kiste hängen die ausgelagerten Experten dagegen an der deutlich schmaleren RAM-Anbindung.

Damit war auch eine Kaufentscheidung beantwortet: Eine zweite Grafikkarte würde für dieses Modell bestenfalls knapp am Mac vorbeiziehen. Als Kaufargument taugt sie nicht — jedenfalls nicht für das 35B.

Und dann das hier: Tempo ist nicht gleich Tempo

Auf dem Papier ist die Sache klar: 42 Token pro Sekunde beim 14B gegen 28 beim 27B. Das kleinere Modell gewinnt.

In der Praxis war es umgekehrt. Bei echten Aufgaben — mehrstufig, mit Werkzeugaufrufen, mit Zwischenschritten — war das langsamere 27B regelmäßig eher fertig. Weil es weniger Anläufe brauchte, weniger Sackgassen lief und weniger Korrekturrunden erzeugte.

Agenten-Tempo ist nicht Token-Tempo. Ein Modell, das doppelt so schnell Unsinn produziert, ist am Ende langsamer. Diese Erkenntnis hat für meine Modellwahl mehr verändert als jede Benchmark-Tabelle — und sie ist der Grund, warum das 27B heute der Standardgang der Kiste ist.

Im nächsten Teil

Wenn 3 Bit funktionieren und 4 Bit nicht hineinpassen — warum lädt man dann nicht einfach die Quantisierung, die perfekt passt, und baut sie sich selbst? Ich habe es durchgerechnet. Teil 3 erklärt, warum ich es gelassen habe, und warum 2 Bit technisch besser funktioniert als 3.