Baseten veröffentlicht 2B-Entscheidungsmodell joey-1: Wahrscheinlichkeiten statt Text, Gewichte unter MIT-Lizenz offen
Laut MarkTechPost vom 29. Oktober 2026 hat Base Labs, die Forschungsgruppe von Baseten, das 2B-Entscheidungsmodell joey-1 veröffentlicht: Ein Vorwärtsdurchlauf liefere kalibrierte Wahrscheinlichkeiten für die jeweiligen Optionen statt freiem Text; die Gewichte seien auf Hugging Face unter MIT-Lizenz offen, die gehostete Schnittstelle reiche bis 16.384 Token. Der Bericht nennt 63,30 auf dem öffentlichen Jev-Split und eine P50-Latenz von 20 Millisekunden.
Was sich geändert hat
Laut einem Bericht von MarkTechPost vom 29. Oktober 2026 hat Basetens Forschungsgruppe Base Labs joey-1 veröffentlicht: ein 2B-Entscheidungsmodell, das keinen freien Text generiert, sondern einen Text- oder Bildzustand sowie eine Menge typisierter Fragen entgegennimmt und in einem einzigen Vorwärtsdurchlauf für jede Frage und jede Option eine Wahrscheinlichkeit zurückgibt. Die Gewichte seien auf Hugging Face unter MIT-Lizenz offen; zugleich werde das Modell über die Baseten Model APIs unter dem Aufrufpfad /v1/systemone angeboten und sei bei OpenRouter gelistet. Der Artikel nennt einen API-Preis von 0,01 US-Dollar pro Million Eingabe-Token; Ausgabe und zwischengespeicherte Eingabe seien mit 0 US-Dollar angegeben. Dies ist die am Berichtstag genannte Quote; die tatsächliche Abrechnung richtet sich nach der Preisseite des Anbieters. joey-1 unterstützt drei Fragetypen: choice wählt eine aus den vorgegebenen Optionen, yes/no (Feldname in der API: noul) gibt die Wahrscheinlichkeit für „yes“ zurück, und score liefert geordnete Stufen, die niedrigste zuerst. Laut Bericht ist das Modell durch vollständiges Fine-Tuning aus Qwen3.5-2B und anschließendes Training hervorgegangen; der Vision-Encoder sei eingefroren, die Full-Attention-Schichten verwendeten eine blockweise bidirektionale Maske, und alle Fragen teilten sich ein einziges Prefix-Prefill, weshalb die Grenzkosten zusätzlicher Fragen gering seien. In den Model APIs beträgt die maximale Sequenz 16.384 Token; bei dediziertem Deployment seien laut Bericht bis zu 262k möglich. Self-Hosting erfordere eine CUDA-GPU und ein Image mit PyTorch 2.8 / CUDA 12.8; der Bericht nennt weder den VRAM-Bedarf noch offizielle quantisierte Versionen. Die Modellkarte nennt als Trainingsdetails 6,21 Millionen Entscheidungsbeispiele, Kreuzentropie plus Brier-Kalibrierungsterm sowie eine trainierte Option „Ich weiß nicht“. joey-1 ist das dritte Mitglied der Serie; Baseten hatte in der Vorwoche das 27B-Modell mammoth-1 und das 9B-Modell elephant-1 veröffentlicht. Alle drei teilen Trainingsdaten und dieselbe Schnittstelle; laut Bericht genügt für den Wechsel eine Zeile Änderung. Alle Benchmark-Zahlen sind von Baseten selbst berichtet: Auf dem öffentlichen Split des Jev Decision Index 0.4 erreicht joey-1 63,30 und liegt unter 230 Modellen auf Platz 37; Baseten bezeichnet dies als höchsten Wert für Modelle unter 4B. Das Schwestermodell elephant-1 erreiche 72,24, Cloudflares Clef 61,71 und Jev 1.14 60,70. Auf dem von Baseten nachgebildeten Artificial Analysis Decision Index kommt joey-1 auf 62,9, mammoth-1 auf 65,9. Zur Latenz berichtet Baseten für durchschnittliche Anfragen mit 2.000 Token eine P50-End-to-End-Latenz von 20 Millisekunden, für elephant-1 49 Millisekunden; der Blogbeitrag behauptet zudem, joey-1 sei fünfmal schneller als vergleichbare Entscheidungsmodelle, nennt die Vergleichsobjekte aber nicht.
Auswirkungen für Entwickler
Die Veröffentlichung verändert das Fehlerprofil und die Kostenstruktur, nicht die Platzierung eines weiteren Allzweckmodells. Bei häufiger Klassifikation ließ man bisher ein allgemeines LLM JSON ausgeben und die Anwendung dieses parsen; typische Fehler waren Formatfehler und halluzinierte Labels. Modelle wie joey-1 begrenzen den Ausgaberaum auf die vorgegebenen Optionen, wodurch Parse-Fehler weitgehend verschwinden; das verbleibende Risiko sind ungenaue Wahrscheinlichkeitsurteile und falsch gesetzte Schwellen. Der Preis dafür ist ebenfalls klar: Ein 2B-Entscheidungsmodell hat weniger Allgemeinwissen als die größeren Geschwistermodelle; der Bericht selbst sagt, es liege in jedem Bereich hinter elephant-1. Es eignet sich daher als erste Routing-Stufe, nicht als Ersatz für Schritte, die Weltwissen oder offene Generierung brauchen. Der eigentliche Nutzen kalibrierter Wahrscheinlichkeiten liegt in der Staffelung. Da jede Option eine Wahrscheinlichkeit trägt und zusätzlich eine Enthaltungsoption trainiert wurde, können Teams Stichproben mit geringer Konfidenz an 9B, 27B oder Menschen eskalieren und teure Aufrufe auf schwierige Fälle konzentrieren. Dass alle drei Modelle dieselbe Schnittstelle teilen, bedeutet, dass sich der Aufwand für eine solche Eskalationskette vor allem in Schwellenwerten und Evaluierung niederschlägt, nicht in einem Code-Neuschreiben. Allerdings brauchen Integratoren dann zwei Dinge, die sie bisher überspringen konnten: ein annotiertes Holdout-Set und eine Strategie, die Schwellenwerte nach Kosten festlegt. Ohne diese beiden lässt sich der Vorteil bei Preis und Latenz nicht in die eigene Entscheidungsqualität übersetzen. Eine weitere leicht übersehene Variable ist der Kontext. Die gehostete Schnittstelle schneidet bei 16.384 Token ab; 262k gelten nur für dediziertes Deployment. Das entscheidet, ob lange Tickets und Logs über den gehosteten Pfad laufen können. Self-Hosting braucht zwar nur eine CUDA-GPU, doch der VRAM-Bedarf ist nicht offengelegt und es gibt keine offiziellen quantisierten Versionen; welche Sequenzlängen tatsächlich laufen, muss man selbst prüfen.
Integration und Bewertung
Die folgende Einordnung ist eine Bedingungsanalyse, keine Aussage des Berichts. Wenn im Produktivsystem derzeit eine Prompt-Klassifikation mit JSON-Parsing läuft, sollte man zunächst eine Shadow-Pipeline parallel betreiben, statt direkt zu ersetzen. Voraussetzung ist, dass sich die Labelmenge aufzählen lässt und historische Labels oder manuelle Prüfungen für ein Holdout-Set vorliegen. Zuerst sollte man die Anfrageklasse mit dem größten Volumen, niedrigen Kosten pro Fehlentscheidung und geschlossener Labelmenge angehen. Kriterium sind Macro-F1 und Genauigkeit auf dem eigenen Holdout-Set bei einer geschäftlich akzeptablen Konfidenzschwelle; zugleich ist zu prüfen, ob die Parse-Fehlerrate auf null fällt und der Anteil der Enthaltungen im manuell bewältigbaren Bereich liegt. Liegt die Genauigkeit nicht über der bisherigen Prompt-Baseline oder ist die Enthaltungsrate zu hoch, sollte die Schlussfolgerung lauten: nicht umstellen. Wenn die Kosten einer Fehlentscheidung deutlich über denen eines Eskalationsaufrufs liegen, sollten die Wahrscheinlichkeiten als Routing-Schalter dienen. Dazu setzt man eine Schwelle; darunter wird an elephant-1, mammoth-1 oder Menschen eskaliert, mit einer Obergrenze für das Eskalationsvolumen. Kriterium ist, verschiedene Schwellen durchzufahren und das Minimum der Gesamtkosten aus Entscheidungsaufruf, Eskalation und verbleibenden Fehlerkosten zu suchen; außerdem ist eine Reliabilitätskurve zu zeichnen und zu prüfen, ob Stichproben mit 0,8 tatsächlich nahe 0,8 korrekt sind. Der Brier-Kalibrierungsterm aus dem Bericht wurde auf der Trainingsverteilung abgestimmt; ob die Kalibrierung nach dem Transfer in die eigene Domäne noch gilt, lässt sich nur selbst messen. Dieser Schritt darf nicht entfallen. Wenn Eingaben häufig länger als 16k sind oder Daten das Netz nicht verlassen dürfen, sollte zuerst die Deployment-Form geklärt werden, dann die Modellqualität. Gehostete Schnittstelle mit 16.384 Token, dediziertes Deployment mit 262k sowie Self-Hosting auf einer GPU mit festgelegtem Image sind drei verschiedene Wege. Kriterium sind Durchsatz und p99-Latenz auf der Zielhardware im Vergleich zur bestehenden Strecke; die 20 Millisekunden der Anbieterplattform sollte man nicht direkt zitieren, denn sie messen deren End-to-End-Umgebung.
Grenzen und offene Fragen
Alle Benchmark- und Latenzzahlen in diesem Artikel sind von Baseten selbst berichtet und nicht unabhängig reproduziert. Der Jev Decision Index ist eine Community-Rangliste auf Hugging Face, doch die dort genannten Punktzahlen der verschiedenen Anbieter stammen ebenfalls aus Basetens Modellkarte; der Vergleich 20 zu 49 Millisekunden ist auf Messungen innerhalb derselben Plattform beschränkt, und die Behauptung „fünfmal schneller“ im Blog nennt keine Vergleichsobjekte. MIT ist die auf der Gewichtsseite angegebene Lizenz und keine vollständige Auskunft über abgeleitete Rechte am Basismodell und die Herkunft der Trainingsdaten; vor kommerzieller Nutzung sollte man Lizenz- und Datenhinweise im Repository selbst prüfen. joey-1 ist derzeit nicht im Modellkatalog von KimiSeek; die genannte API-Verfügbarkeit und Preisangaben betreffen das Angebot bei Baseten und OpenRouter. Für verfügbare Modelle und Abrechnung auf dieser Plattform sollte man die Preisübersicht der Website heranziehen.