NUS, Jeva-4B 공개: '적합한 선택지 없음'과 캐시를 의사결정 구조에 넣다

신즈위안(新智元) 보도에 따르면, 싱가포르국립대학 xML Lab은 Qwen3.5-4B를 백본으로 삼고 의사결정 블록을 추가해 선택, null 또는 점수를 직접 출력하는 Jeva를 제안했습니다. 논문은 순서 뒤집힘률 0, 2048개 후보에서 정확도 69.88%를 보고했으며, 가중치는 Hugging Face에 공개되었습니다.

게시 2026. 10. 26.수정 2026. 10. 27.

주요 변화

신즈위안이 2026년 10월 26일 보도한 내용(원문 타임스탬프 1792987620000에 해당하는 날짜)에 따르면, 싱가포르국립대학 xML Lab은 논문과 코드를 공개하고 의사결정 과제를 겨냥한 Jeva 구조와 Jeva-4B 모델을 함께 공개했습니다. 보도에 따르면 이 모델은 Qwen3.5-4B를 백본으로 사용하고 경량 의사결정 블록을 덧붙였습니다. 공유 인코더가 요청과 후보 선택지를 각각 표현하고, 의사결정 블록은 전체 후보 집합을 읽되 요청 상태만 갱신합니다. 따라서 선택지 표현은 캐시해 재사용할 수 있고, 현재 판단은 매번 다시 계산합니다. 보도는 네 가지 설계 목표를 제시합니다. '후보 중 누가 더 나은가'와 '후보 전체에 수용 가능한 답이 있는가'를 구분하고, 후자는 커버리지 확률로 따로 추정하며 null 출력을 허용합니다. 후보 집합에 대해 대칭적으로 집계해 확률이 목록 위치가 아니라 후보 정체성을 따르게 합니다. 모든 후보에 같은 점수 규칙을 적용해 여러 차례 탈락시키는 대신 전체 후보 집합을 직접 처리합니다. 선택지의 의미 표현과 그 레이어 투영을 캐시해 후보 집합이 재구성될 때 재사용합니다. 같은 계산으로 Choice, Noul(명제가 참일 확률), Score 세 가지 출력을 지원합니다. 보도가 제시한 실험 결과는 모두 논문에서 나온 것입니다. BANKING77로 구성한 3,080개 요청(요청당 후보 16개, 정답 없는 경우 588개 포함)에서 null 탐지 AUROC는 98.66%였고, 비교치는 KEV-BF16 93.61%, InternDecision-4B 84.27%, JevK5 79.44%였습니다. Choice 샘플 600개에서 원래 순서, 역순, 최대 세 가지 무작위 배열을 시험했을 때 Jeva의 원래 정확도와 '모든 시험 순서에서 정답' 정확도는 모두 76.67%로 결정 뒤집힘이 나타나지 않았고, 비교 모델의 뒤집힘률은 17.00%, 22.67%, 26.17%였습니다. ToolRet의 32~2,048개 후보 설정에서 2,048개 후보일 때 정확도는 69.88%, 단일 H200의 요청 중위 지연은 12.04초였으며, JevK5는 67.47%와 약 28.35초였습니다. 문제 83개를 고정하고 후보를 32개에서 2,048개로 늘렸을 때 Jeva는 모든 규모에서 그중 58개 문제를 맞혔고, JevK5는 48개, CLM은 7개였습니다. MLDR 장문서 실험에서 후보가 모두 캐시에 적중하면 요청 중위 지연이 약 2.10초에서 75.1밀리초로 줄었고, 보도는 서로 다른 캐시 조건에서 의사결정 변화가 관찰되지 않았다고 전했습니다. 위 수치는 모두 논문이 자체 보고한 것이며, 이 기사는 독립적으로 재현하지 않았습니다.

개발자에게 미치는 영향

개발자 입장에서 Jeva는 또 하나의 범용 채팅 모델이 아니라 '순위 매기기 + 답변 거부 + 캐싱'을 추론 경로에 결합한 형태이며, 이는 몇 가지 시스템의 연동 설계를 바꿉니다. 첫째, 출력 계약이 달라집니다. 후보 집합이 한 번의 요청 입력이 되고, 모델은 다시 파싱할 텍스트가 아니라 null을 포함한 분포나 점수를 반환합니다. 기존의 '모델이 JSON으로 하나를 고르게 하는' 프롬프트 체인을 이런 모델로 바꾸려면 서비스 계층에서 후보 ID, 커버리지 확률 임계값, null의 폴백 동작을 정의해야 하고, 로그에도 해당 요청의 전체 후보 집합을 기록해야 합니다. 그렇지 않으면 사후에 어떤 거부가 후보 부적합 때문인지 모델 오류인지 판단할 수 없습니다. 둘째, 캐시가 프롬프트 계층에서 구조 계층으로 내려갑니다. 보도에 따르면 캐시되는 것은 정답이 아니라 선택지 표현이며, 이는 정책 조항, 장문서 라이브러리, 고정 평가 기준처럼 '후보는 비교적 안정적이고 질문은 계속 바뀌는' 상황에 직접적 의미가 있습니다. 다만 캐시 키를 모델 버전, 의사결정 유형, 인코딩 설정에 묶어야 하며, 모델이나 인코딩 구성이 바뀌면 기존 캐시는 무효화해야 합니다. 셋째, 후보 규모를 여러 차례 탈락으로 통제할 필요가 없어집니다. 보도에 따르면 2,048개 후보도 같은 의사결정 헤드에서 비교되므로 검색 후 재순위 절차가 단순해지지만, 지연이 후보 수와 후보 길이에 직접 묶입니다. 중위 지연 12.04초는 큰 후보 집합이 여전히 대화형 호출이 아니라 오프라인 또는 비동기 작업임을 보여줍니다. 보도에 나온 비교 모델 명칭(예: Jev-1.13.0, JevK5, CLM)과 기준 설정 정보는 제한적이므로, 독자는 이 비교 수치를 자신의 데이터 분포나 중국어 업무 후보 집합에 외삽해서는 안 됩니다.

연동 및 평가 제안

다음은 제안과 조건 분석이며, 보도된 사실이 아닙니다. 결정 1: 기존 '생성형 선택'을 의사결정 헤드 인터페이스로 바꿀지는 후보를 열거할 수 있는지, 거부가 반드시 명시적이어야 하는지에 달려 있습니다. 업무에 '전체가 모두 부적합한' 경우가 실제로 있다면(예: 티켓 배정, 의도 라우팅), 보도된 null 인식 설계를 별도로 검증할 가치가 있습니다. 실제 분포에서 '적합한 후보 없음' 요청을 만들어 정답이 있는 요청과 섞고, 임계값을 훑으며 AUROC와 고정 오거부율(예: 5%)에서의 재현율을 기록하십시오. 이 지표가 기존 프롬프트 방식보다 뚜렷이 나을 때만 인터페이스 개편 비용을 감수할 만합니다. 후보에 항상 정답이 있다면 이 능력의 이득은 제한적이므로 개편 우선순위를 낮춰야 합니다. 결정 2: 선택지 캐시를 도입할지는 후보 라이브러리의 재사용 패턴에 달려 있습니다. 먼저 온라인 요청 묶음을 놓고 후보 집합 간 중복 비율을 계산하십시오(보도의 예는 ABC, BCD, ACD처럼 점진적으로 겹치는 경우). 중복이 높고 후보 텍스트가 길면 보도된 방식대로 전부 적중과 전혀 적중하지 않을 때의 요청 지연 차이를 측정할 수 있습니다. 동시에 캐시 적중 전후 같은 요청의 의사결정이 일치하는지 반드시 검증해야 합니다. 보도는 자체 실험에서 의사결정 변화가 관찰되지 않았다고만 했을 뿐, 여러분 데이터에서의 동등성을 보장하지 않습니다. 후보가 거의 매번 새로 나온다면 캐시 계층의 복잡성이 이득을 넘을 수 있습니다. 결정 3: 후보 규모 상한은 정확도만이 아니라 지연 예산으로 정해야 합니다. 보도는 2,048개 후보에서 정확도 69.88%와 중위 지연 12.04초를 함께 제시했으므로 두 수치를 같이 봐야 합니다. 초 단위 응답이 필요한 상황이라면 더 작은 후보 집합에서 정확도 곡선을 측정해 정확도가 떨어지기 시작하는 변곡점을 찾고, 후보를 늘릴지 기존 검색 축소를 유지할지 결정하십시오. 평가할 때 문제를 고정하고 후보를 단계적으로 늘리되(보도가 문제 83개로 32개에서 2,048개까지 늘린 방식은 그대로 쓸 수 있음), '모든 규모에서 정답' 비율을 세면 단일 지점 정확도보다 안정성을 더 잘 드러냅니다. 결정 4: 순서 견고성은 출시 전 고정 회귀 항목으로 삼아야 합니다. 보도된 방법대로 같은 샘플 묶음에 원래 순서, 역순, 여러 무작위 배열을 시험하고, 결과를 위치가 아니라 후보 정체성에 맞춰 정렬해 뒤집힘률을 기록하십시오. 규정 준수, 리스크 관리, 평가 점수가 걸린 상황에서는 뒤집힘률이 평균 정확도보다 더 주시해야 할 지표입니다.

제한과 확인할 사항

이 기사의 모든 실험 수치는 신즈위안이 전한 논문 결과에서 나온 것이며 독립적으로 재현되지 않았습니다. 비교 모델의 구성과 학습 세부 사항은 보도에 불완전하므로 모델 간 비교에는 주의가 필요합니다. 보도는 Jeva-4B 가중치가 Hugging Face에서 적용하는 구체적 라이선스 조항을 밝히지 않았습니다. 가중치를 내려받을 수 있다는 것이 상업적 이용이나 재배포가 가능하다는 뜻은 아니므로, 배포 전에 모델 카드와 라이선스 원문을 직접 확인해야 합니다. 보도는 API 서비스, 가격, 호스팅 가용성 정보도 제시하지 않았으며, 어떤 호출 방식이든 배포 측 설명을 기준으로 삼아야 합니다. 또한 보도의 실험은 BANKING77, ToolRet, MLDR 등 영어 과제에 집중되어 있어 중국어 후보 집합, 업종 용어, 장문서에서의 성능은 알 수 없습니다. 특히 밝혀 둘 점은 Jeva-4B 버전이 현재 KimiSeek 모델 목록에 없으며, KimiSeek에 이 버전과 정확히 대응하는 항목이 없다는 것입니다. 이 모델의 API 가용성에 관한 어떤 언급도 배포 측만을 가리키며 이 사이트와 무관합니다. KimiSeek에서 같은 종류의 의사결정 과제를 하려면 이 사이트에 이미 등록된 모델을 별도로 평가하고 가격 페이지를 기준으로 삼아야 합니다.