vLLM Semantic Router veröffentlicht d3-ultra: ein multimodales Entscheidungsmodell mit 27B Parametern, das alle Fragen in einem einzigen Durchlauf beantwortet
Laut einem Bericht von MarkTechPost vom 26. Oktober 2026 hat das vLLM-Semantic-Router-Team das multimodale Entscheidungsmodell d3-ultra mit 27B Parametern unter Apache-2.0 veröffentlicht. Es erzeugt keinen Text, sondern liest die Eingabe einmal ein und gibt für jede Frage die Wahrscheinlichkeiten der Antworten zurück; abgedeckt sind Routing, Klassifikation, visuelle Boxauswahl und Videoanalyse.
Was sich geändert hat
Laut einem Bericht von MarkTechPost vom 26. Oktober 2026 hat das vLLM-Semantic-Router-Team d3-ultra veröffentlicht: ein dichtes multimodales Entscheidungsmodell mit 26,09B Parametern (einschließlich eines visuellen Encoders mit 0,46B), dessen Gewichte unter der Apache-2.0-Lizenz offen verfügbar sind und das zur Familie Decision 3.0 (0,6B bis 27B) gehört. Anders als generative Modelle gibt d3-ultra keinen Text aus: Der Aufrufer übermittelt einen Zustand (Text oder JSON, dazu ein Bild oder Video) und eine Reihe typisierter Fragen – Choice, Yes/No, Score, Box, Track –, und das Modell liest die Eingabe nur einmal und gibt für jede Frage die Wahrscheinlichkeit jeder Kandidatenantwort zurück. Dem Bericht zufolge zeigt die Konfiguration ein Qwen3.5-Backbone mit 64 Schichten (48 Schichten lineare Attention plus 16 Schichten Full Attention); die Modellkarte nennt keinen Basischeckpoint, während das vLLM-Rezept angibt, das Schwestermodell d3 sei auf Basis von Qwen3.8-27B trainiert, sodass die Herkunft der Basis von d3-ultra selbst unklar bleibt. Der Kontext pro Frage beträgt 131.072 Tokens; überlange Anfragen scheitern mit max_length_exceeded direkt, statt stillschweigend abgeschnitten zu werden. Der Typ Box gibt fest eine Box und eine Konfidenz zurück, wobei eine Konfidenz nahe 0 als Nichtvorhandensein des Ziels gilt. Als Bereitstellungswege nennt der Bericht: Transformers (erfordert transformers==5.17.0) mit optionalem flash-linear-attention-Kernel, den am 25. Oktober 2026 über PR #5449 eingeführten Befehl vllm-sr serve, eine gehostete Schnittstelle, die laut Modellkarte einen kostenlosen Key bietet, sowie eine offizielle Hugging-Face-Space-Demo. Zur Leistung verglich das Team auf zwei eigenen privaten Testsets mit GLiDE V1.2, d1-ultra, d3-turbo, d3 und Jev 1.14: SR-Text umfasst 10.411 Anfragen und 73.495 Fragen (chance-korrigierte Genauigkeit); d3-ultra erzielt mit 87,2 den ersten Platz, vor GLiDE V1.2 mit 85,1 und dem Schwestermodell d3-turbo mit 83,1. Lediglich im Bereich „Kunst und menschlicher Geschmack“ erreicht d3-ultra 89,6 und d1-ultra 90,8; der Bericht bezeichnet diesen Unterschied als innerhalb der Fehlermarge. SR-Box umfasst 5.678 Boxauswahlfragen zu 4.984 Bildern, wobei IoU 0,5 als korrekt gilt; d3-ultra erzielt über 10 Bereiche 58,2 % und über 9 Bereiche 54,6 %, weniger als d3-turbo mit 60,0 % bzw. 59,6 %; das Team gibt an, d3-turbo sei bei natürlichen Bildern stärker, während d3-ultra bei Diagrammen führe. Zur Latenz berichtet der Bericht von Tests auf einer einzelnen AMD Instinct MI325X mit AutoModel und BF16-Gewichten: Ein einzelnes Foto mit einer Frage dauert 304 ms, mit 255 Fragen 2,16 s, im Durchschnitt etwa 7,3 ms pro zusätzlicher Frage; offizielle quantisierte Versionen sind noch nicht aufgeführt. Alle Benchmark-Zahlen sind vom Team selbst gemeldete Ergebnisse auf privaten Testsets; öffentliche Indizes zeigen „eingereicht, noch nicht gelistet“.
Auswirkungen für Entwickler
Die Form dieses Modells wirkt sich stärker auf die Integration aus als auf einzelne Fähigkeiten. Übliche generative Schnittstellen rechnen nach Ausgabe-Tokens ab und planen Kapazität nach Parallelität, während die Kosten- und Latenzstruktur von d3-ultra „ein Forward-Pass pro Eingabe, mit flacherer Zunahme bei mehr Fragen“ ist – die im Bericht genannten 7,3 ms pro Frage bedeuten, dass beim Zusammenfassen mehrerer Urteile in einen Aufruf der Hauptaufwand in diesem einen Einlesen liegt. Für Teams, die bereits einen semantischen Router zur Anfragenverteilung nutzen, ergibt sich ein alternativer Weg: Urteile wie „Welches Modell soll diese Anfrage bedienen“, „Zu welcher Warteschlange gehört dieses Ticket“ oder „Ist dieser Inhalt regelwidrig“ werden nicht mehr dadurch gewonnen, dass ein allgemeines LLM zur JSON-Ausgabe aufgefordert und diese dann geparst wird, sondern durch Wahrscheinlichkeiten auf kontrollierten, typisierten Fragen; die Ausgabe ist von Natur aus strukturiert, und eine Fehlerquelle beim Parsen entfällt. Der Preis ist Flexibilität: Das Modell erzeugt keinen freien Text, Fragetypen und Optionen müssen vorab entworfen werden, und Aufgaben außerhalb dieser Typen lassen sich damit nicht erledigen. Bei der Lizenz ist zu unterscheiden: Der Bericht gibt an, die Gewichte seien unter Apache-2.0 offen, was Lizenzbedingungen sind und nicht bloß herunterladbare Gewichte; grundsätzlich ist das für kommerzielle Nutzung und Weiterverbreitung günstig, doch die tatsächliche Nutzung sollte weiterhin die Modellkarte und die Lizenzdateien im Repository prüfen; aus „Gewichte herunterladbar“ dürfen keine Lizenzrechte abgeleitet werden. Bei der Bereitstellung erfordern 26,09B dichte Parameter im BF16-Betrieb erhebliche GPU-Speicherressourcen; die Tests im Bericht wurden nur auf einer einzelnen AMD MI325X durchgeführt, und offizielle quantisierte Versionen fehlen bislang, sodass Teams, die auf Geräten mit kleinerem Speicher selbst hosten wollen, derzeit keinen offiziellen Weg haben. Die beiden zentralen Fähigkeitsdaten weisen in entgegengesetzte Richtungen – bei textbezogenen Urteilen liegt das Modell durchweg vor dem Schwestermodell, bei der visuellen Boxauswahl dahinter –, was zeigt, dass die Auswahl nicht pauschal nach „größer und neuer ist besser“ erfolgen darf, sondern je nach Workload abzuwägen ist. Die Herkunft der Basis bleibt eine Informationslücke: Die Konfiguration zeigt eine Qwen3.5-Architektur, das Rezept nennt nur, dass das Schwestermodell d3 auf Qwen3.8-27B basiert, und die Modellkarte nennt keinen Basischeckpoint von d3-ultra; das beeinflusst die Einschätzung der Trainingsdatenherkunft, der Lizenzvererbung und des Spielraums für spätere Feinabstimmung. Alle Benchmarks sind selbst gemeldete Ergebnisse auf privaten Testsets des Teams, öffentliche Indizes listen das Modell noch nicht; bis zur unabhängigen Reproduktion durch Dritte sollten 87,2 und 58,2 % als Herstellerangaben gelten.
Integration und Bewertung
Das Folgende sind bedingte Analysen und Empfehlungen auf Basis des Berichts, keine verifizierten Fakten. Erstens: Wenn ein Team derzeit ein generatives LLM für Anfragen-Routing oder Klassifikation einsetzt, sollte es zunächst einen „Vergleich bei gleicher Eingabe“ durchführen: eine Stichprobe echter Anfragen aus den vorhandenen Routing-Logs sowohl mit dem aktuellen Prompt-Ansatz als auch mit den Choice- oder Yes/No-Frageformen von d3-ultra laufen lassen und anhand derselben menschlich annotierten Antworten Genauigkeit und End-to-End-Latenz vergleichen. Die Voraussetzung ist, dass die Entscheidungskategorien begrenzt und aufzählbar sind und Antworten als feste Optionen formuliert werden können; wenn Urteile häufig freie Erklärungen oder mehrstufiges Reasoning erfordern, ist ein Ersatz ungeeignet. Messbar sind Genauigkeit und P95-End-to-End-Latenz auf demselben Annotationsset; ein Wechsel sollte erst erwogen werden, wenn d3-ultra nicht schlechter als die bestehende Lösung abschneidet und die Gesamtlatenz niedriger ist. Zweitens: Wenn die Last überwiegend aus visueller Lokalisierung besteht, sollte man nicht wegen des Vorsprungs bei SR-Text automatisch d3-ultra wählen. Der Bericht gibt an, d3-turbo sei bei der Boxauswahl auf natürlichen Bildern stärker, d3-ultra führe bei Diagrammen; daher empfiehlt es sich, nach den eigenen Bildtypen zu schichten (natürliche Fotos und Diagramme getrennt), für beide Modelle die Trefferquote mit IoU 0,5 als Maßstab zu messen und zusätzlich den Anteil der verpassten Erkennungen zu erfassen, bei denen die zurückgegebene Konfidenz nahe 0 liegt, das Ziel aber tatsächlich vorhanden ist, und dann nach dem Anteil der Bildtypen zu entscheiden; der Lokalisierungsvorteil von d3-ultra kann sich nur bei einem hohen Anteil an Diagrammbildern auszahlen. Drittens: Vor dem Selbst-Hosting sollten Speicherbedarf und Durchsatz kalkuliert werden: den GPU-Speicherbedarf für 26,09B dichte Parameter in BF16 zusammen mit visuellem Encoder und KV-Cache abschätzen, auf der Zielhardware messen, ob eine einzelne Anfrage mit 255 Fragen in der Größenordnung der berichteten 2,16 s liegt, und die „304 ms für eine Frage“ als Erstlese-Overhead für die Kapazitätsplanung verwenden; reicht der Speicher nicht und gibt es weiterhin keine offizielle quantisierte Version, sollte dieser Weg als vorerst nicht gangbar markiert werden, statt nach eigener Quantisierung unveränderte Qualität anzunehmen. Viertens: Bei der Fragengestaltung ist die harte Obergrenze von 131.072 Tokens als Randbedingung zu behandeln: Lange Dokumente oder Videos mit vielen Frames müssen vorab aufgeteilt werden, und für max_length_exceeded-Fehler sollte eine eigene Erfassung eingerichtet werden, damit fehlgeschlagene Anfragen nicht fälschlich als niedrige Konfidenz gezählt werden. Fünftens: Laut Modellkarte gibt es eine gehostete Schnittstelle mit kostenlosem Key, doch der Bericht nennt weder Kontingente noch Stabilität oder Datenbedingungen; vor dem Produktiveinsatz sollten die Nutzungsbedingungen selbst geprüft werden.
Grenzen und offene Fragen
Die im Bericht genannten Genauigkeiten sind selbst gemeldete Ergebnisse des Teams auf privaten Testsets, nicht von Dritten reproduziert, und die öffentlichen Indizes sind als „eingereicht, noch nicht gelistet“ gekennzeichnet. Die Latenzdaten sind eine andere Art von Information: Der Bericht gibt an, sie seien auf einer einzelnen AMD Instinct MI325X mit AutoModel und BF16-Gewichten gemessen worden, es handelt sich also nicht um einen privaten Benchmark; das Verhalten auf anderer Hardware und mit anderen Inferenz-Stacks ist unbekannt, und der Bericht veröffentlicht auch keine Vergleichslatenzen mit anderen Modellen auf derselben Hardware. Der Bericht erläutert nicht, ob die Stichprobenzusammensetzung der beiden privaten Testsets auf Aufgabentypen ausgerichtet ist, in denen die Familie stark ist. Zur Herkunft der Basis besteht eine Informationslücke: Die Konfiguration zeigt eine Qwen3.5-Architektur, das Rezept nennt nur, dass das Schwestermodell d3 auf Qwen3.8-27B basiert, und die Modellkarte nennt keinen Basischeckpoint von d3-ultra; die Aussage zu einem Qwen-Backbone darf daher nicht als bestätigter Fakt gelten. Die Bereitstellungstests beschränken sich auf eine einzelne AMD Instinct MI325X und BF16-Gewichte, offizielle quantisierte Versionen fehlen. Bedingungen, Limits und Verfügbarkeit des kostenlosen Keys der gehosteten Schnittstelle werden im Bericht nicht behandelt; solche Regelungen können sich jederzeit ändern. Zum Zeitpunkt dieser Katalogprüfung (27. Oktober 2026) erscheint d3-ultra nicht im verfügbaren Modellkatalog von KimiSeek; die im Bericht genannte API-Verfügbarkeit bezieht sich auf die vom Hersteller selbst betriebene Schnittstelle und steht nicht mit dieser Website in Zusammenhang. Wer sich für verfügbare Modelle und Abrechnung interessiert, sollte die Preisangaben auf der Website maßgeblich heranziehen.