Ein Modell, das auf Kalibrierung trainiert ist, schlägt mein Qwen ohne Training nicht. Aber die Zahl, die zählt, ist eine andere.

Viele KI-Schritte in einer Automatisierung sind Entscheidungen, keine Texte: in welchen Ordner, an welches Team, ist das dringend, darf das automatisch laufen? Ein Chatmodell beantwortet das, indem es Text schreibt, den danach Code wieder in ein if zurückübersetzt. snapjudge, mein Nachbau eines Entscheidungsmodells auf dem Mac, geht anders: Das Modell liest Zustand und Frage einmal, und aus den Logits kommt die Wahrscheinlichkeit jeder erlaubten Antwort. Mein Code bekommt eine Verteilung, handelt bei hoher Sicherheit und gibt den Rest an einen Menschen.

Mit Kev ist ein offenes Modell erschienen, das genau dafür trainiert ist und kalibrierte Wahrscheinlichkeiten liefert. Ich habe Kev-4B auf meinen deutschen Entscheidungen gegen meine Qwen-Modelle laufen lassen.


Der Testsatz und der Aufbau

Der Testsatz besteht aus 52 kurzen deutschen Texten mit 114 gelabelten Entscheidungen: Mail-Kategorie, Dringlichkeit, Ton und Phishing, Anliegen und Notfall bei Mieteranfragen, Kategorien von Kontobuchungen. Alle Modelle bekommen dieselben Fragen über dieselbe Schnittstelle (/v1/systemone) mit demselben Skript.

Kev-4B (Apache 2.0, aufgebaut auf Qwen3.5-4B) lief in bf16 über MLX, die Qwen-Modelle in 4 Bit. Das Kev-Repository habe ich vorher nach Netzwerk- und Exec-Aufrufen durchsucht, außer dem Download der Gewichte war nichts Auffälliges dabei.


Die Gesamtzahlen

Trefferquote, mittlere Sicherheit, Kalibrierfehler (ECE), und wie viele Fälle bei p ≥ 0,9 automatisch entschieden werden und wie viele davon richtig sind:

→ Kev-4B: 91,2 % (104 von 114), Sicherheit 80,0 %, ECE 0,119, p ≥ 0,9: 33 % der Fälle, davon 100 % richtig
→ Qwen3.5-4B: 93,9 % (107), 94,3 %, 0,044, 84 % der Fälle, davon 99 % richtig
→ Qwen3.5-9B: 93,0 %, 94,0 %, 0,048, 85 % / 99 %
→ Qwen3.6-35B-A3B: 95,6 % (109), 96,3 %, 0,016, 89 % / 99 %
→ Qwen3.8-27B: 96,5 % (110), 94,5 %, 0,035, 85 % / 99 %

Bei der Trefferquote liegt Kev drei Entscheidungen hinter dem Qwen3.5-4B (10 gegen 7 Fehler). Bei 114 Fällen ist das kein klarer Unterschied: Die 95-%-Intervalle liegen bei 84,6 bis 95,2 % für Kev und 87,9 bis 97,0 % für das 4B und überlappen sich deutlich.


Die Zahl, die zählt: Wie viele Fälle laufen sicher automatisch?

Wer Entscheidungen automatisieren will, braucht keinen guten Durchschnitt, sondern eine feste Schwelle, ab der das System handelt und unterhalb derer ein Mensch übernimmt. Interessant ist dann: Bei welcher Schwelle wie viele Fälle automatisch laufen, und wie viele davon stimmen.

Anteil der automatisch entschiedenen Fälle und Trefferquote darin, Kev-4B gegen Qwen3.5-4B:

→ p ≥ 0,9: Kev 33 % / 100 %, Qwen 84 % / 99 %
→ p ≥ 0,8: Kev 61 % / 100 %, Qwen 90 % / 99 %
→ p ≥ 0,7: Kev 75 % / 100 %, Qwen 95 % / 97 %
→ p ≥ 0,6: Kev 86 % / 98 %, Qwen 96 % / 97 %

Kev ist deutlich vorsichtiger. Das erklärt die Modellkarte: Kev wird mit einer kalibrierten Temperatur ausgeliefert (beim 4B 2,41), die die Wahrscheinlichkeiten abflacht. Mit niedrigerer Schwelle holt es auf, und bei p ≥ 0,7 sind weiterhin alle Entscheidungen richtig. Daraus folgt: Die Schwelle gehört zum Modell. Wer 0,9 von einem Modell auf das nächste übernimmt, misst am Ende nur, wie die Wahrscheinlichkeiten geformt sind, nicht, wie gut das Modell entscheidet.


Wo Kev Fehler macht

Von Kevs 10 Fehlern landen 9 in der Auffangkategorie „sonstiges“. Beim Qwen3.5-4B sind es 2 von 7. Im Zweifel weicht Kev also auf „sonstiges“ aus, statt sich festzulegen. Am deutlichsten wird das bei den Mieteranliegen (Reparatur, Zahlung, Kündigung, Nachbarschaft): Fünf von 15 Fällen gehen daneben, 66,7 % gegen 100 % beim 4B. Bei den Mail-Entscheidungen zu Dringlichkeit und Ton liegt Kev dagegen bei 100 %, beim Ton klar vor dem 4B (100 % gegen 86,7 %).

Für eine Automatisierung ist das kein schlechtes Verhalten, denn „sonstiges“ lässt sich gut an einen Menschen übergeben. Es verändert aber, wie viele Fälle man ohne Mensch bekommt.


Was nicht vergleichbar ist

→ Ein Lauf, 114 Entscheidungen, mein eigener Testsatz. Fragen und Layout stammen aus meiner Arbeit mit den Qwen-Modellen, das ist ein Heimvorteil für sie.
→ Kev lief in bf16 und braucht deutlich mehr Speicher (rund 8 GB laut Modellkarte), die Qwen-Modelle in 4 Bit.
→ Kev lief über die HTTP-Schnittstelle, die Qwen-Läufe im Prozess. Die Latenzen (Kev 319 ms, Qwen3.5-4B 182 ms im Median) sind deshalb nicht direkt vergleichbar, die Trefferquoten schon.
→ Kev-9B und Kev-27B habe ich nicht getestet, ebenso keine anderen Entscheidungsmodelle.


Was ich mitnehme

→ Ein auf Kalibrierung trainiertes Modell ersetzt die Messung auf den eigenen Daten nicht. Auf meinen deutschen Fällen bringt Kev-4B nichts, was das untrainierte Qwen3.5-4B nicht auch liefert.
→ Die Schwelle für „automatisch entscheiden“ gehört zum Modell, nicht zum Prozess. Sie muss je Modell gemessen werden, am besten je Kategorie.
→ Gemessen werden sollte die Fehlerrate je Kategorie plus der Anteil der Fälle, die bei der gewählten Schwelle ohne Mensch laufen, nicht der Durchschnitt über alles.

Das Messskript liegt im snapjudge-Repository (eval/run_eval.py), und es nimmt jede Schnittstelle im System-One-Format, auch die von Kev.