Lev, 문제마다 의사결정 모델의 루프 횟수를 조절: 같은 가중치로 여러 깊이 커버
2026년 11월 2일 머신 하트 보도에 따르면, Lehigh University 등 기관의 연구진이 순환형 의사결정 모델 Lev를 제안했다. 각 루프에서 선택지 확률을 한 번씩 읽고, 같은 가중치로 다른 깊이에서 답할 수 있으며, 스토퍼가 문제별 루프 수를 정한다. JevBench에서 Lev-2.6B는 한 루프 63.2%에서 네 루프 76.2%로 올랐다.
주요 변화
2026년 11월 2일 머신 하트 보도에 따르면, Lehigh University, 브리티시컬럼비아대학교, Vector Institute 연구진이 사고 연쇄 대신 순환으로 사고를 깊게 만드는 의사결정 모델 Lev를 제안했다. Lev는 Jev, Kev 같은 의사결정 모델의 작업 형태를 따른다. 하나의 요청에 상태와 후보가 붙은 여러 문제가 들어가고, 모델은 텍스트를 생성하지 않고 각 선택지의 확률을 직접 낸다. 차이는 베이스 모델이다. Lev는 사전학습 단계부터 순환 구조를 가진 Ouro 또는 Nanbeige4.2로 바꾸고, 동일한 디코더 레이어 세트를 반복 실행한다. 각 루프가 끝나면 공유 pointer head가 선택지 확률을 한 번 읽는다. pointer head와 LoRA 어댑터는 루프 사이에서 공유되고, 손실은 모든 루프에 걸쳐 평균을 낸다. 그래서 하나의 checkpoint가 모든 깊이에서 쓸 수 있는 의사결정 모델이 된다. 깊이별 로지스틱 회귀 스토퍼가 각 문제가 몇 번째 루프에서 멈출지 정한다. 저자들은 이 계산 방식을 System 1.5라고 부른다. 인터페이스는 여전히 결정을 직접 내놓지만, 어려운 문제에는 연산을 더 쓸 수 있다. 논문은 세 모델을 제시한다. Lev-1.4B(Ouro-1.4B, 최대 4루프), Lev-2.6B(Ouro-2.6B, 4루프), Lev-3B(Nanbeige4.2-3B, 2루프)다. 그중 Nanbeige는 사전학습 때 마지막 루프에만 손실이 있어, Lev가 감독된 중간 루프에 의존하는지 확인하는 데 쓰였다. 공개된 JevBench 231문제에서 Lev-2.6B는 한 루프 63.2%에서 네 루프 76.2%로 올라 13.0포인트(95% 신뢰구간 7.4~19.0) 향상됐다. 가중치는 바뀌지 않았고 달라진 것은 순환 깊이뿐이었다. 스토퍼의 예측 목표는 '정답인지'가 아니라 '현재 답이 가장 깊은 루프의 답과 이미 일치하는지'다. 임계값은 최종 답의 최소 98%가 가장 깊은 답과 일치하게 하는 가장 작은 값으로 잡았다. 따라서 보정에 사람 라벨이 필요 없다. 논문, 코드, 세 모델, 세 데이터셋은 모두 공개됐다. 보도는 가중치가 어떤 라이선스를 쓰는지, 상용 조건이 무엇인지 밝히지 않았다. 보도는 또 Lev가 작업 형태에서만 OpenAI Decisions와 비슷한 독립 구현이며, 그 가중치·아키텍처·API를 복제하지 않았고, 해당 제품과 성능 비교 테스트도 하지 않았다고 강조했다.
개발자에게 미치는 영향
개발자에게 변화는 파라미터 수가 아니라 '얼마나 깊게 계산할지'를 학습 단계에서 서비스 단계로 옮긴 데 있다. 의사결정 모델의 단일 순전파는 저렴하지만 연산량은 학습 시에 고정되므로 쉬운 문제와 어려운 문제가 같은 비용이다. 사고 연쇄는 어려운 문제를 더 정확하게 만드는 대신 모든 문제에서 추론 텍스트 비용을 치르게 한다. 보도가 인용한 비교에서는 같은 26B 베이스에서 사고를 켜자 어려운 문제가 9~13포인트 올랐지만, 어려운 문제의 중앙값 소요 시간은 3~4배가 됐다. Lev의 방식은 같은 가중치가 루프 수에 따라 서로 다른 동작점을 내게 하는 것이다. 보도에 따르면 필요 기반 깊이는 두 개의 홀드아웃 테스트 세트에서 가장 깊은 루프 연산의 76~85%만 사용하면서 정확도 차이는 0.3~0.8포인트였다. 이득의 경계도 구체적이다. 보도는 부동소수점 연산량 기준으로 Lev가 dense 방식과 같거나 더 나쁘다고 말한다. 각 루프마다 전체 베이스를 실행해야 하기 때문이다. 장점은 연산력이 아니라 지연에 나타난다. 39~46밀리초 구간에서 필요 기반 Lev-1.4B와 Lev-3B는 같은 지연의 캐스케이드보다 7.0~8.8포인트, 최고의 dense 방식보다 5.4~7.5포인트 높았다. 그러나 Lev-2.6B는 약 150밀리초 지점에서 Kev-4B를 직접 쓰는 것보다 낫지 않았다. 깊이를 늘리면 좋아지기만 하는 것도 아니다. LevBench에서 첫 추가 루프는 20.4%를 맞게 바꾸고 8.6%를 틀리게 바꿨으며, 12.6%는 얕은 루프에서 맞혔지만 가장 깊은 루프에서 틀렸다. '가장 깊은 답과 일치'를 목표로 하는 스토퍼로는 이 경우를 구제할 수 없다. 작업 유형별 차이도 있다. 언어 이해 유형은 19.0포인트 올랐지만 유머와 색 선호 같은 취향 판단에는 이득이 없었다. 저자들은 추가 루프가 여러 사실을 조합하는 데 필요한 직렬 연산을 제공하지만 취향 판단에는 그런 연산이 필요 없다고 추측한다. 이 메커니즘 설명은 독립적으로 검증되지 않았으므로 확정된 인과 결론으로 받아들여선 안 된다.
연동 및 평가 제안
다음은 조건부 제안이며 보도된 사실이 아니다. 첫째, 먼저 모델을 바꿀지가 아니라 필요 기반 깊이를 도입할지 결정하라. 보도가 제시한 변화는 다음과 같다. 가장 깊은 루프 대비 필요 기반 깊이는 15~24%를 덜 계산한다. 하지만 '동일 비용에서 고정 깊이를 혼합한 방식' 대비 이점은 크지 않아, Lev-2.6B는 홀드아웃 세트에서 0.2포인트, Lev-3B는 1.0포인트 높을 뿐이었다. 게다가 루프 수 절감을 온라인 처리량으로 바꾸려면 서로 다른 깊이 요청의 배칭과 스케줄링을 서버가 지원해야 하는데, 논문은 이 부분을 명시적으로 수행하지 않았다. 추론 스택이 아직 깊이별 버킷팅이나 조기 종료를 못 한다면 우선 고정 2루프로 출시하는 편이 낫다. 어려운 문제에 테일 예산을 남겨야 하고 스케줄링을 고칠 의향이 있을 때만 스토퍼에 투자하라. 전제는 같은 배치 안에서 서로 다른 루프 수의 padding과 스케줄링 오버헤드가 감당 가능하다는 것이다. 측정 가능한 판단 기준은 자체 트래픽 샘플에서 필요 기반 깊이가 고정 2루프의 등비용 프런티어에 뒤지지 않으면서 p95 루프 수가 15% 이상 줄어드는지다. 개조 후 p95 지연이 개선되지 않으면 병목은 루프 수가 아니라 스케줄링이다. 둘째, 스토퍼 임계값은 자체 트래픽으로 다시 정해야 한다. 보도에 따르면 라벨이 있는 데이터에서 '정답 여부'를 목표로 임계값을 조정하면 두 Ouro 모델 모두 고정 깊이 프런티어 아래로 떨어진다. 반면 '가장 깊은 답과 일치'를 목표로 라벨 없는 대상 요청에서 보정하면 간단한 최고 확률 임계값만으로도 완전한 스토퍼와 0.2포인트 차이까지 가능하고, 폴드당 500문제면 된다. 방법은 자체 업무 요청의 각 루프 출력을 기록하고 '전체 깊이 답과 일치하는지'를 라벨로 임계값을 다시 고르는 것이다. 논문 임계값을 그대로 가져오지 마라. 전제는 전체 깊이를 오프라인으로 한 번 돌릴 수 있다는 것이며, 라벨이 없다고 비용이 0인 것은 아니다. 판단 기준은 홀드아웃 트래픽에서 조기 종료 답과 전체 깊이 답의 일치율이 98% 이상인지다. 다운스트림 동작이 되돌릴 수 없다면 이 문턱을 높이고 비즈니스 손실에 맞춰 임계값을 다시 정해야 한다. 셋째, 생성형 추론을 의사결정 인터페이스로 바꾸기 전에 계층별 대조를 하라. 보도는 Lev가 후보 확률만 내고 설명 텍스트는 만들지 않는다고 지적한다. 반면 사고를 켜면 어려운 문제에서 9~13포인트 더 나오지만 시간은 몇 배로 든다. 도구 라우팅, 분류, 행동 순위 매기기 같은 작업은 두 경로를 소표본으로 대조해볼 수 있다. 이유나 감사 가능한 추적이 필요한 상황은 생성형 경로를 남겨야 한다. 전제는 작업을 후보 집합으로 열거할 수 있다는 것이다. 판단 기준은 같은 평가 세트에서 정확도가 떨어지지 않고 p50 지연이 예산 안에 들며, 순이득만 보지 말고 잘못 바뀐 비율을 따로 집계하는 것이다. 넷째, dense 베이스에 순환을 덧붙이지 마라. 보도에 따르면 Qwen3.5-0.8B의 중간 8개 레이어를 게이트가 있는 순환으로 연결하고 Kev 레시피로 학습시켰을 때 정확도 변화는 0.5포인트 미만이었고 게이트는 계속 0에 가까웠다. 깊이 노브를 원한다면 네이티브 순환 베이스에서 출발해야 한다. 그래도 시도하려면 먼저 게이트 값이 0에서 벗어나는지, 루프별 정확도 곡선에 기울기가 있는지 보라. 곡선이 평평하면 순환이 쓰이지 않은 것이다.
제한과 확인할 사항
논문의 순환 베이스는 1.4B~3B만 포괄한다. 현재 공개적으로 구할 수 있는 규모이며, 더 큰 모델에서 깊이 곡선이 성립하는지는 알 수 없다. JevBench 결론도 공개된 231문제에만 근거한다. 필요 기반 깊이의 '덜 계산한다'는 것은 오프라인으로 집계한 루프 수이지 온라인 소요 시간이 아니다. 지연 수치는 단일 H200, bf16, 요청 하나씩 처리한 환경에서 나왔고, 퓨즈드 연산자, 그래프 캡처, 상태 캐시를 쓰지 않았으며 서버 최적화도 하지 않았다. 프로덕션 환경에서는 수치가 달라질 수 있다. 12.6%의 '얕은 루프에서 맞고 깊은 루프에서 틀림'은 깊이를 늘리는 것이 단조롭게 더 좋은 것만은 아님을 보여준다. 라이선스와 관련해 보도는 코드, 모델, 데이터가 공개됐다고만 말하고 가중치가 어떤 라이선스를 쓰는지는 밝히지 않았다. 가중치 공개는 오픈소스 라이선스와 같지 않으므로 상용 전에 저장소 조항을 직접 확인해야 한다. Lev-1.4B, Lev-2.6B, Lev-3B는 현재 KimiSeek 모델 카탈로그에 없다. 보도에서의 모델 가용성은 저자가 공개한 저장소와 가중치를 뜻하며 KimiSeek의 출시 상태가 아니고, 이미 어떤 벤더 API가 있다는 의미도 아니다. 향후 호스팅 서비스가 나오면 가용성은 해당 서비스 제공자 기준이다. 위 수치는 머신 하트 보도와 논문의 공개 설명에서 나왔으며 독립 재현이나 실측을 거치지 않았다.