← Alle Modellneuigkeiten

Lev lässt Entscheidungsmodelle je nach Aufgabe mehr Runden drehen: ein Gewichtssatz für mehrere Tiefen

Jiqizhixin berichtete am 2. November 2026 über Lev, ein rekurrentes Entscheidungsmodell von Lehigh und weiteren Institutionen: Jede Runde liest die Optionswahrscheinlichkeiten, derselbe Gewichtssatz antwortet in verschiedenen Tiefen, ein Stopper wählt die Rundenzahl je Aufgabe; auf JevBench stieg Lev-2.6B von 63,2 % (eine Runde) auf 76,2 % (vier Runden).

Veröffentlicht Aktualisiert

Was sich geändert hat

Jiqizhixin berichtete am 2. November 2026, dass Forschende der Lehigh University, der University of British Columbia und des Vector Institute Lev vorgestellt haben, ein Entscheidungsmodell, das seine Überlegung durch Rekurrenz statt durch eine Gedankenkette vertieft. Es folgt der Aufgabenform von Entscheidungsmodellen wie Jev und Kev: Eine Anfrage enthält einen Zustand und mehrere Fragen mit Kandidatenoptionen, das Modell gibt direkt die Wahrscheinlichkeit jeder Option aus und erzeugt keinen Text. Der Unterschied liegt im Unterbau: Lev wechselt auf Ouro oder Nanbeige4.2, die bereits im Pretraining Rekurrenz enthalten; dieselben Decoder-Schichten laufen wiederholt, nach jeder Runde liest ein gemeinsamer Pointer-Head einmal die Optionswahrscheinlichkeiten. Pointer-Head und LoRA-Adapter werden über die Runden geteilt, der Loss über alle Runden gemittelt, sodass derselbe Checkpoint in jeder Tiefe als Entscheidungsmodell nutzbar ist. Ein logistischer Regressions-Stopper pro Tiefe entscheidet, in welcher Runde jede Frage endet. Die Autoren nennen diese Rechenform System 1.5: Die Schnittstelle gibt weiterhin direkt eine Entscheidung aus, schwierige Aufgaben dürfen aber mehr Rechenzeit verbrauchen. Die Arbeit stellt drei Modelle vor: Lev-1.4B (Ouro-1.4B, bis zu 4 Runden), Lev-2.6B (Ouro-2.6B, 4 Runden) und Lev-3B (Nanbeige4.2-3B, 2 Runden). Bei Nanbeige gibt es im Pretraining nur in der letzten Runde einen Loss; das dient der Prüfung, ob Lev von überwachten Zwischenrunden abhängt. Auf den 231 öffentlichen Aufgaben von JevBench stieg Lev-2.6B von 63,2 % mit einer Runde auf 76,2 % mit vier Runden, also um 13,0 Prozentpunkte (95-%-Konfidenzintervall 7,4 bis 19,0); die Gewichte blieben gleich, nur die Loop-Tiefe änderte sich. Das Vorhersageziel des Stoppers ist nicht „richtig oder nicht“, sondern „stimmt die aktuelle Antwort bereits mit der Antwort der tiefsten Runde überein“; die Schwelle ist der kleinste Wert, bei dem mindestens 98 % der endgültigen Antworten mit der tiefsten Antwort übereinstimmen, weshalb die Kalibrierung keine menschlichen Labels braucht. Paper, Code, die drei Modelle und die drei Datensätze sind öffentlich; der Bericht nennt keine Lizenz für die Gewichte und keine kommerziellen Bedingungen. Der Bericht betont zugleich, Lev sei eine eigenständige Implementierung, die OpenAI Decisions lediglich in der Aufgabenform ähnle; Gewichte, Architektur und API würden nicht nachgebaut, und einen Leistungsvergleich mit dem Produkt habe es nicht gegeben.

Auswirkungen für Entwickler

Für Entwickler liegt die Veränderung nicht in der Parameterzahl, sondern darin, dass „wie tief gerechnet wird“ vom Training in den Betrieb wandert. Ein einzelner Forward-Pass eines Entscheidungsmodells ist günstig, doch der Rechenaufwand steht schon im Training fest; einfache und schwierige Aufgaben kosten gleich viel. Eine Gedankenkette macht schwierige Aufgaben genauer, erkauft dies jedoch damit, dass für jede Frage Reasoning-Text bezahlt werden muss. In dem im Bericht zitierten Vergleich bringt eingeschaltetes Denken auf demselben 26B-Unterbau 9 bis 13 Punkte bei schwierigen Aufgaben, während sich die mediane Bearbeitungszeit schwieriger Aufgaben auf das Drei- bis Vierfache erhöht. Lev lässt denselben Gewichtssatz bei unterschiedlichen Rundenzahlen unterschiedliche Betriebspunkte liefern: Laut Bericht nutzte adaptive Tiefe auf zwei Holdout-Testsets nur 76 % bis 85 % der Loop-Rechenarbeit der tiefsten Runde, bei 0,3 bis 0,8 Punkten Genauigkeitsunterschied. Die Grenze des Nutzens ist ebenso konkret. An der Zahl der Gleitkommaoperationen gemessen ist Lev laut Bericht gleichauf mit oder schlechter als Dense-Ansätze, weil jede Runde den gesamten Unterbau durchläuft; der Vorteil liegt bei der Latenz, nicht bei der Rechenleistung: Im Bereich von 39 bis 46 Millisekunden lagen die adaptiven Lev-1.4B und Lev-3B 7,0 bis 8,8 Punkte über Kaskaden gleicher Latenz und 5,4 bis 7,5 Punkte über dem besten Dense-Ansatz; Lev-2.6B war bei etwa 150 Millisekunden jedoch nicht besser als die direkte Nutzung von Kev-4B. Mehr Tiefe macht es aber nicht nur besser: Auf LevBench korrigierte die erste zusätzliche Runde 20,4 %, verschlechterte 8,6 %, und bei 12,6 % der Aufgaben war die flache Antwort richtig, die tiefste Runde aber falsch; ein Stopper mit dem Ziel „Übereinstimmung mit der tiefsten Runde“ kann das nicht auffangen. Auch die Aufgabentypen unterscheiden sich: Sprachverständnis legte um 19,0 Punkte zu, Geschmacksurteile wie Humor und Farbpräferenz brachten keinen Gewinn. Die Autoren vermuten, die zusätzlichen Runden lieferten die serielle Rechenleistung zum Kombinieren mehrerer Fakten, während Geschmacksurteile sie nicht benötigen; diese Mechanismus-Erklärung ist nicht unabhängig geprüft und kein bestätigter Kausalschluss.

Integration und Bewertung

Die folgenden Hinweise sind konditional und keine berichteten Fakten. Erstens: Entscheiden Sie zuerst, ob Sie adaptive Tiefe überhaupt wollen, statt zuerst das Modell zu wechseln. Der Bericht nennt als Veränderung: Gegenüber der tiefsten Runde spart adaptive Tiefe 15 % bis 24 % Rechenarbeit; gegenüber einer Mischung fester Tiefen zu gleichen Kosten ist der Vorsprung aber gering, auf den Holdout-Sets liegt Lev-2.6B nur 0,2 Punkte und Lev-3B 1,0 Punkte vorn. Die Einsparung bei den Loop-Runden muss zudem serverseitig in Durchsatz übersetzt werden, was Batching und Scheduling für Anfragen unterschiedlicher Tiefe verlangt – diesen Teil hat die Arbeit ausdrücklich nicht behandelt. Wenn Ihre Inferenzkette noch keine Tiefen-Buckets oder frühen Ausstiege beherrscht, ist ein Start mit festen zwei Runden ratsam; in den Stopper investieren Sie erst, wenn Sie schwierigen Aufgaben wirklich ein Tail-Budget geben wollen und bereit sind, das Scheduling umzubauen. Voraussetzung: Padding- und Scheduling-Overhead für unterschiedliche Rundenzahlen im selben Batch bleiben akzeptabel. Prüfbar ist: Auf eigenen Traffic-Stichproben liegt adaptive Tiefe nicht unter der Gleichkostenfront zweier fester Runden, und die p95-Rundenzahl sinkt um mindestens 15 %; verbessert der Umbau die p95-Latenz nicht, liegt der Engpass im Scheduling, nicht in der Rundenzahl. Zweitens: Die Stopper-Schwelle muss mit eigenem Traffic neu bestimmt werden. Der Bericht zeigt: Auf gelabelten Daten mit dem Ziel „richtig oder nicht“ fallen beide Ouro-Modelle unter die Front fester Tiefe; mit dem Ziel „Übereinstimmung mit der tiefsten Antwort“ und Kalibrierung auf ungelabelten Zielanfragen erreicht eine einfache Schwelle auf der höchsten Wahrscheinlichkeit nur 0,2 Punkte Abstand zum vollständigen Stopper, mit 500 Aufgaben pro Fold. Vorgehen: Ausgaben aller Runden für eigene Geschäftsanfragen aufzeichnen, „stimmt mit der Antwort voller Tiefe überein“ als Label verwenden, die Schwelle neu wählen und nicht die Schwelle aus dem Paper übernehmen. Voraussetzung: ein Offline-Lauf in voller Tiefe ist möglich; ungelabelt heißt nicht kostenlos. Prüfbar ist: Auf zurückgehaltenem Traffic liegt die Übereinstimmung zwischen Frühausstieg und Antwort voller Tiefe bei mindestens 98 %; sind nachgelagerte Aktionen nicht rückholbar, sollte die Schwelle höher liegen und anhand des Geschäftsschadens neu bestimmt werden. Drittens: Vor dem Ersetzen generativer Inferenz durch eine Entscheidungsschnittstelle einen stratifizierten Vergleich machen. Der Bericht führt an, Lev gebe nur Kandidatenwahrscheinlichkeiten aus und keinen Erklärungstext, während eingeschaltetes Denken auf schwierigen Aufgaben 9 bis 13 Punkte bringt, aber ein Mehrfaches an Zeit kostet. Bei Tool-Routing, Klassifikation und Aktionsranking können kleine Stichproben beide Wege vergleichen; Szenarien, die Begründungen oder auditierbare Spuren brauchen, sollten den generativen Weg behalten. Voraussetzung: Die Aufgabe lässt sich vollständig als Kandidatenmenge abbilden. Prüfbar ist: Die Genauigkeit geht auf demselben Evaluationsset nicht zurück, die p50-Latenz bleibt im Budget, und der Anteil der verschlechterten Fälle wird separat ausgewiesen, nicht nur der Nettozuwachs. Viertens: Keine Rekurrenz an einen Dense-Unterbau anflanschen. Der Bericht erwähnt, dass bei Qwen3.5-0.8B die mittleren 8 Schichten als gated Recurrence verbunden und nach dem Kev-Rezept trainiert wurden; die Genauigkeit änderte sich um weniger als einen halben Punkt, das Gate blieb nahe null. Wer einen Tiefenregler will, sollte mit einem nativen rekurrenten Unterbau beginnen; wer es dennoch versucht, prüft zuerst, ob der Gate-Wert den Nullpunkt verlässt und ob die Genauigkeitskurve pro Runde eine Steigung hat – eine flache Kurve spricht dafür, dass die Rekurrenz nicht genutzt wird.

Grenzen und offene Fragen

Die rekurrenten Unterbauten der Arbeit decken nur 1,4B bis 3B ab, den derzeit öffentlich verfügbaren Bereich; ob die Tiefenkurve bei größeren Modellen gilt, ist unbekannt; die JevBench-Ergebnisse beruhen nur auf 231 öffentlichen Aufgaben. Das „weniger Rechnen“ adaptiver Tiefe ist eine Offline-Statistik der Loop-Runden, keine Messung der Online-Laufzeit; die Latenzzahlen stammen von einer einzelnen H200, bf16, einer Anfrage zur Zeit, ohne fusionierte Operatoren, Graph Capture oder State-Caching und ohne Server-Optimierung – in Produktion ändern sich die Werte. Die 12,6 % Fälle, in denen die flache Antwort richtig und die tiefe falsch war, zeigen, dass mehr Tiefe nicht monoton besser ist. Zur Lizenz: Der Bericht sagt nur, Code, Modelle und Daten seien öffentlich; welche Lizenz für die Gewichte gilt, bleibt offen. Öffentliche Gewichte sind keine Open-Source-Lizenz; vor kommerzieller Nutzung sind die Repository-Bedingungen selbst zu prüfen. Lev-1.4B, Lev-2.6B und Lev-3B sind derzeit nicht im Modellkatalog von KimiSeek; die im Bericht genannte Verfügbarkeit bezieht sich auf die von den Autoren veröffentlichten Repositories und Gewichte, nicht auf den Betriebsstatus bei KimiSeek und nicht auf eine bestehende Hersteller-API. Sollte künftig ein gehosteter Dienst entstehen, richtet sich seine Verfügbarkeit nach dem jeweiligen Anbieter. Die Zahlen stammen aus dem Jiqizhixin-Bericht und der öffentlichen Papierbeschreibung; eine unabhängige Reproduktion oder eigene Messung fand nicht statt.

In drei Minuten zum ersten Aufruf

Erstelle ein Konto und einen API-Schlüssel. Aufrufe werden von deinem Guthaben abgebucht. 30 % Rabatt auf die erste Aufladung. ¥500 aufladen, ¥350 zahlen, ¥500 Guthaben erhalten. ¥1000 aufladen, ¥850 zahlen, ¥1000 Guthaben erhalten Die Mindestaufladung bleibt ¥10 und eignet sich zum Ausprobieren.

Quellen und redaktioneller Prozess

Lev:用循环代替思维链,一份权重覆盖多个决策深度

KI unterstützte die Analyse und Übersetzung der genannten Quellen, gefolgt von automatischen Qualitätsprüfungen. Empfehlungen sind keine Testergebnisse. Verfügbarkeit und Preise stehen im aktuellen Katalog.