StartLux-Decision, 추론 여부를 스스로 판단하지만 선별 후 확률은 왜곡된다
머신하트(Machine Heart)의 2026년 11월 4일 보도에 따르면, StartLux는 홍콩대학교, 남방과학기술대학교와 함께 StartLux-Decision을 제안했다. Instant와 AutoThink 두 가중치 세트는 옵션 확률 읽기를 공유하며, AutoThink는 최고 옵션 확률이 0.9 미만일 때만 추론을 생성한다. 논문은 RLCD² 학습과 DecisionPivot 평가를 추가로 제시하고 코드 저장소와 Hugging Face 가중치 주소도 첨부했다.
주요 변화
이것은 채팅 모델이 아니다. StartLux-Decision은 요청을 '입력 상태+질문+후보 옵션'으로 쓰고, 모델 마지막 층의 logits에서 A, B, C 등 문자에 해당하는 위치를 가져와 온도 스케일링과 softmax를 거쳐 각 옵션의 확률을 구한다. 별도의 분류 헤드는 추가하지 않는다. Instant는 한 번만 순전파하고, AutoThink는 추론 전후에 각각 한 번씩 읽는다. 두 모델의 어텐션 방향은 다르다. Instant는 Full Attention 층에서 인과 마스크를 제거해 프롬프트 내 token이 양방향으로 상호작용하게 하고, Linear Attention 층은 여전히 인과 계산을 유지한다. AutoThink는 추론 궤적 생성을 지원하기 위해 인과 어텐션을 유지한다. 논문은 두 모델이 같은 묶음으로 배포된 가중치가 아니며 서로 대체할 수 없다고 명시한다. 논문의 기본 평가 설정에 따르면 AutoThink는 먼저 초기 분포 p₀를 계산하고, 최고 옵션 확률이 0.9에 도달하면 바로 반환한다. 0.9 미만일 때만 추론 궤적을 생성하고 궤적 끝에서 p₁을 읽으며, 최종 출력은 약 75%의 가중치로 추론 후 분포에 치우친다. 학습은 세 단계다. 첫째 전체 파라미터 지도 미세조정, 둘째 어댑터 학습과 어텐션 방향 분화, 셋째 AutoThink에 대한 추론 지도와 RLCD² 강화학습이다. RLCD²의 보상은 동결된 평가 모델이 주는 확률 점수 증가분과 초과 길이 페널티로 구성되며, 소프트 길이 예산은 3072 token, 생성 상한은 4096 token이다. 함께 제공되는 평가 DecisionPivot은 13개 유형의 프로그램 생성 과제, 유형당 600문항 총 7800문항을 포함한다. 대부분은 답을 바꿀 수 있는 세부 하나만 바꾼 대조 문항 쌍으로 구성되며, 핵심 지표는 문항 쌍의 두 문제를 모두 맞힌 쌍별 정확도다. 논문은 4B, 9B, 27B AutoThink가 각각 59.9%, 59.9%, 86.9%를 기록했고 해당 Instant는 41.5%, 47.5%, 75.4%라고 보고한다. 같은 표에서 Decision 3.0 d3는 71.3%, Perplexity Decider v1.1은 70.1%, 낮은 추론 강도 설정을 켠 GLM-5.3은 82.2%다. 이는 모두 논문이 자체 보고한 수치와 실행 설정이다.
개발자에게 미치는 영향
연동 방식에 미치는 영향은 점수보다 더 직접적이다. 첫째, 출력은 텍스트가 아니라 확률이다. Instant는 자기회귀 생성을 하지 않으므로 채팅이나 요약 모델로 쓸 수 없다. 배포 환경에서 옵션별 logits나 확률을 얻을 수 없다면 이 모델의 핵심 인터페이스는 사용할 수 없다. 둘째, 지연이 쌍봉형이 된다. 논문은 단일 H200, BF16, 256 token 프롬프트, 단일 요청 조건에서 Instant의 단일 읽기 중앙 지연을 24~52ms로 측정했지만, AutoThink가 추론을 트리거하면 엔드투엔드에 궤적 생성과 두 번째 읽기가 더해지며 p50은 긴 꼬리를 가린다. 셋째, 확률의 의미는 다운스트림 전략에 의존한다. 논문이 9B를 검증기로 사용해 발견한 바에 따르면, 단일 예측에서 80%~90% 신뢰도가 부여된 답변의 실제 정확도는 92%였으나, 32개 후보에서 최고 점수를 고른 뒤에는 같은 신뢰 구간이 78%로 떨어졌다. 선택 작업이 반환 예측의 조건 분포를 바꾸기 때문이다. 넷째, 로컬 배포에는 메모리 문턱이 있다. 27B의 BF16 버전은 64GB 통합 메모리의 M5 Pro에서 사용 가능한 메모리를 초과해 8-bit 또는 4-bit 양자화에 의존해야 실행된다. 다섯째, 과제 이득은 고르지 않다. 4B와 9B의 향상은 선별, 목표 상태 검증, 근무표 충돌처럼 항목별 계산이 필요한 과제에 집중됐고, 정책 해석, 조항 변경, 의존 관계 처리에서는 강한 단일 예측 모델이 여전히 우세하다.
연동 및 평가 제안
다음은 논문 보고에 기반한 조건부 분석이며 논문이 제시한 권고가 아니다. 판단 1: Instant와 AutoThink 중 무엇을 고르고 임계값을 어디에 둘 것인가. 보고에서 근거로 삼을 수 있는 변화는 AutoThink의 신뢰도 기반 게이팅이다. 27B는 DecisionPivot에서 약 39%의 문항을 바로 답했고 단일 문항 정확도는 약 96%였으며, 나머지 약 61%는 추론에 들어간 뒤 정확도가 약 57%에서 약 93%로 올랐다. 워크로드가 요청 라우팅, 검색 결과 판단처럼 옵션이 적고 문맥이 이미 충분히 주어진 판단이라면 Instant의 가치는 생성 단계를 생략하는 데 있다. 규칙에 예외 조항이나 임계값 경계가 자주 있다면 AutoThink를 골라 임계값을 직접 훑어야 한다. 전제는 배포 측에서 옵션별 확률을 읽을 수 있어야 한다는 것이다. 검증 가능한 기준은 자체 대조 문항 쌍에서 쌍별 정확도를 재면서 추론에 들어가는 요청 비율과 p95 지연을 함께 집계하고, 임계값을 0에서 1까지 훑어 정확도가 더 오르지 않으면서 token이 계속 늘어나는 구간을 찾는 것이다. 판단 2: 추론 길이 예산을 얼마로 둘 것인가. 보고에서 근거로 삼을 수 있는 변화는 RLCD²의 길이 페널티다. 4B의 쌍별 정확도는 페널티가 512 token부터 적용될 때 60.4%에서 52.9%로 떨어졌고, 3072 token으로 완화하자 59.9%로 돌아왔다. 페널티를 완전히 없애면 61.7%를 얻었지만 그 평가에서 약 3분의 1의 추론이 생성 상한 안에서 스스로 끝나지 못했다. 선택은 3072를 그대로 따르는 것이 아니라 소프트 예산을 자신의 추론 길이 분포 상단에 맞추는 것이다. 전제는 궤적 길이와 스스로 종료했는지 여부를 기록할 수 있어야 한다는 것이다. 검증 가능한 기준은 정확도만 보지 않고 자기 종료 비율과 문항당 token 소비를 보는 것이다. 자기 종료 비율이 뚜렷이 낮다면 실제로 긴 계산이 필요한 문제까지 함께 눌러버렸는지 먼저 확인해야 한다. 판단 3: 확률 보정을 전략에 맞춰 다시 해야 하는가. 보고에서 근거로 삼을 수 있는 변화는 전략 인식 보정이다. best-of-N, 추론 게이팅, 캐스케이드, 선별 후 추론을 아우르는 184개 설정에서 부호 있는 신뢰도-정확도 격차가 −11.7~+20.5%포인트에서 −2.7~+2.1%포인트로 줄었다. 선택은 실제 선별이나 라우팅 이후 반환된 그 예측으로 보정을 적합하는 것이지, 개별 후보에 보정한 뒤 그대로 쓰는 것이 아니다. 전제는 레이블이 있는 보정 데이터가 있고 후보 수, 평균 후보 점수 또는 라우팅을 트리거한 신뢰도를 기록할 수 있어야 한다는 것이다. 검증 가능한 기준은 고정된 신뢰도 구간에서 예측 신뢰도와 실제 정확률을 비교하고, 설정한 자동 실행 임계값에서 잘못 통과시킨 비율을 집계하는 것이다. 전략이 바뀌면 보정 매핑과 수용 임계값을 모두 다시 측정해야 한다.
제한과 확인할 사항
StartLux-Decision의 Instant와 AutoThink(0.8B~27B)는 현재 KimiSeek 모델 카탈로그에 없다. 보도도 호스팅 API를 언급하지 않았으며, 코드와 가중치의 사용 가능 여부는 프로젝트 측 GitHub 저장소와 Hugging Face 페이지를 기준으로 한다. 이는 프로젝트 측 채널이지 이 사이트가 제공하는 것이 아니다. 출처는 가중치가 어떤 라이선스로 배포되는지 밝히지 않았다. 가중치를 내려받을 수 있다는 것이 오픈소스 라이선스를 뜻하지는 않으며, 허용되는 상업적 사용, 재배포, 수정 범위는 모델 카드와 라이선스 파일을 봐야 한다. '가중치가 공개됐다'는 사실에서 이를 추론할 수 없다. 수치 자체에도 경계가 있다. DI 0.3의 공개 부분은 전체 리더보드 점수의 20%에만 해당하며, 논문은 이것이 이 연구의 데이터 레시피와 모델 선택에 사용됐고 독립 테스트 세트가 아니라고 설명한다. AutoThink의 해당 리더보드 점수는 추론 궤적을 배제한 단일 예측 리더보드에 진입했다는 의미로 볼 수 없다. 남겨둔 2,986개 표본에서 세 규모의 최종 결정 정확도 변화 구간은 모두 0을 포함했으며, 이 비교가 가장 뒷받침하는 것은 추론 종료와 생성 효율의 개선이지 정확도의 보편적 상승이 아니다. 논문도 스스로 48.0%는 AutoThink가 추론을 끈 뒤의 성적이며 Instant의 75.4%와 혼용할 수 없다고 밝힌다. 보정 매핑을 보지 못한 데이터셋으로 옮긴 뒤에도 최대 약 6.1%포인트의 잔여 과신이 남았고, 고정 0.9 임계값은 문항별 최적 계산 배분과 같지 않으며, 단일 H200 단일 요청 지연 수치는 동시 서비스로 외삽할 수 없고, 과제 계열 간 전이 증거는 여전히 제한적이다.