Baseten, 2B 의사결정 모델 joey-1 공개: 텍스트 대신 확률 출력, 가중치는 MIT로 공개
MarkTechPost가 2026년 10월 29일 보도한 바에 따르면, Baseten 산하 Base Labs는 2B 의사결정 모델 joey-1을 공개했다. 한 번의 순전파로 자유 텍스트 대신 각 옵션의 보정된 확률을 반환하며, 가중치는 MIT로 공개되고 호스팅 인터페이스는 최대 16,384 token을 지원한다. 보도에 따르면 Jev 공개 분할에서 63.30, P50 지연 20밀리초를 기록했다.
주요 변화
MarkTechPost가 2026년 10월 29일 보도한 바에 따르면, Baseten의 연구 팀 Base Labs는 joey-1을 공개했다. 2B 파라미터 의사결정 모델로, 자유 텍스트를 생성하지 않고 텍스트 또는 이미지 상태와 유형이 지정된 질문 묶음을 입력받아 한 번의 순전파로 각 질문의 각 옵션에 대한 확률을 반환한다. 보도에 따르면 가중치는 Hugging Face에서 MIT 라이선스로 공개됐으며 Baseten Model APIs를 통해서도 제공된다. 호출 경로는 /v1/systemone이고 OpenRouter에도 올라와 있다. 기사가 제시한 API 가격은 입력 token 100만 개당 0.01달러이며 출력과 캐시 입력은 0달러로 표시됐다. 이는 보도 당일의 가격 제시이며 실제 과금은 벤더 가격 페이지를 기준으로 해야 한다. joey-1은 세 가지 질문 유형을 지원한다. choice는 주어진 옵션 중 하나를 고르고, yes/no는 API에서 필드 이름이 noul이며 yes일 확률을 반환하고, score는 순서가 있는 등급을 반환하되 가장 낮은 등급이 앞에 온다. 보도에 따르면 Qwen3.5-2B를 전체 미세조정해 학습한 모델이며, 비전 인코더는 동결됐고 전체 어텐션 레이어에는 블록 양방향 마스크가 사용됐다. 모든 질문이 한 번의 프리픽스 프리필을 공유하므로 질문 수가 늘어날 때의 한계 비용이 작다. Model APIs에서 최대 시퀀스는 16,384 token이고, 전용 배포에서는 262k까지 가능하다고 한다. 자체 호스팅에는 CUDA GPU 한 장과 PyTorch 2.8 / CUDA 12.8 이미지가 필요하다. 보도는 VRAM 요구량을 밝히지 않았고 공식 양자화 버전도 나열하지 않았다. 모델 카드가 제시한 학습 세부 사항은 621만 개의 의사결정 샘플, 교차 엔트로피와 Brier 보정 항, 그리고 '모르겠다' 옵션 학습이다. joey-1은 이 시리즈의 세 번째 구성원이다. Baseten은 지난주 27B의 mammoth-1과 9B의 elephant-1을 이미 공개했으며, 세 모델은 학습 데이터와 동일한 인터페이스 세트를 공유한다. 보도에 따르면 전환에는 한 줄만 바꾸면 된다. 벤치마크의 모든 수치는 Baseten 자체 보고다. Jev Decision Index 0.4 공개 분할에서 joey-1은 63.30으로 230개 모델 중 37위였고, Baseten은 4B 이하 최고 점수라고 주장했다. 같은 계열의 elephant-1은 72.24, Cloudflare의 Clef는 61.71, Jev 1.14는 60.70이었다. Baseten이 재현한 Artificial Analysis Decision Index에서 joey-1은 62.9, mammoth-1은 65.9였다. 지연 시간에 대해 Baseten은 평균 2,000 token 요청의 P50 종단 간 지연이 20밀리초, elephant-1은 49밀리초라고 보고했다. 블로그는 또 동종 의사결정 모델보다 5배 빠르다고 주장했지만 비교 대상을 특정하지 않았다.
개발자에게 미치는 영향
이번 발표가 바꾸는 것은 또 하나의 범용 모델 순위가 아니라 오류의 형태와 비용 구조다. 그동안 고빈도 분류에서는 보통 범용 LLM이 JSON을 출력하고 애플리케이션이 이를 파싱하도록 했다. 실패 유형은 형식 오류와 환각 레이블이었다. joey-1 같은 모델은 출력 공간을 주어진 옵션으로 제한하므로 파싱 실패는 거의 사라지고, 남는 위험은 확률 판단 자체가 부정확한 것과 임계값을 잘못 설정하는 것이다. 대가는 분명하다. 2B 의사결정 모델의 일반 지식은 같은 계열의 더 큰 모델보다 약하며, 보도 자체도 모든 영역에서 elephant-1에 뒤진다고 말한다. 따라서 1차 라우팅에는 적합하지만 세계 지식이나 개방형 생성이 필요한 단계를 대체하기에는 적합하지 않다. 보정된 확률의 진짜 용도는 계층화다. 각 옵션에 확률이 붙고 기권 옵션까지 학습됐다면, 엔지니어링 관점에서 낮은 신뢰도 샘플을 9B, 27B 또는 사람에게 올리고 비싼 호출을 어려운 샘플에 집중할 수 있다. 세 모델이 같은 인터페이스를 공유한다는 것은 업그레이드 체인의 개조 비용이 코드 재작성보다 임계값과 평가에 주로 달린다는 뜻이다. 그러나 이는 도입하는 쪽이 이전에는 하지 않아도 됐던 두 가지를 새로 갖춰야 한다는 의미이기도 하다. 레이블이 있는 홀드아웃 세트와 비용에 따라 임계값을 정하는 전략이다. 이 두 가지가 없으면 가격과 지연 시간의 이점을 자체 의사결정 품질로 바꾸기 어렵다. 또 하나 쉽게 간과되는 변수는 컨텍스트다. 호스팅 인터페이스는 16,384 token에서 잘리고, 262k는 전용 배포에만 해당한다. 이는 긴 작업 티켓이나 긴 로그 같은 입력이 호스팅 경로를 탈 수 있는지를 결정한다. 자체 호스팅에는 CUDA GPU 한 장만 필요하다고 하지만 VRAM은 공개되지 않았고 공식 양자화 버전도 없으므로, 실제로 얼마나 긴 시퀀스를 실행할 수 있는지는 직접 검증해야 한다.
연동 및 평가 제안
다음은 조건부 분석이며 보도된 사실이 아니다. 현재 시스템이 '프롬프트 분류와 JSON 파싱'이라면 곧바로 교체하기보다 섀도 경로를 병렬로 운영하는 것을 권한다. 전제는 레이블 집합을 열거할 수 있고, 과거 레이블이나 사람 검수 데이터로 홀드아웃 세트를 만들 수 있다는 것이다. 먼저 요청량이 가장 많고 단일 오판 비용이 낮으며 레이블이 닫힌 유형부터 시작하는 것이 좋다. 판단 기준은 자체 홀드아웃 세트에서 업무상 허용 가능한 신뢰도 임계값으로 매크로 평균 F1과 정확도를 계산하고, 동시에 파싱 실패율이 0이 되는지, 기권 판정 비율이 사람이 소화할 수 있는 범위인지 보는 것이다. 정확도가 기존 프롬프트 기준선보다 높지 않거나 기권율이 너무 높다면 결론은 전환하지 않는 것이어야 한다. 단일 오판 비용이 업그레이드 호출 한 번보다 확실히 크다면 확률을 라우팅 스위치로 쓰는 것을 권한다. 방법은 임계값을 두고 그보다 낮은 샘플을 elephant-1, mammoth-1 또는 사람에게 올리며, 업그레이드 물량에 상한을 두는 것이다. 판단 기준은 여러 임계값을 훑어 '의사결정 호출 비용 + 업그레이드 비용 + 잔여 오류 비용'의 총비용이 최저가 되는 점을 찾는 것이다. 동시에 신뢰도 곡선을 그려 모델이 0.8을 준 샘플의 실제 정답률이 0.8에 가까운지 확인해야 한다. 보도에 나온 Brier 보정 항은 해당 모델의 학습 분포에서 조정된 것이므로, 자신의 도메인으로 옮긴 뒤에도 보정이 유지되는지는 직접 측정할 수밖에 없고 이 단계를 생략해서는 안 된다. 입력 길이가 자주 16k를 넘거나 데이터가 외부로 나갈 수 없다면 모델 효과보다 배포 형태를 먼저 정해야 한다. 호스팅 인터페이스의 16,384 token, 전용 배포의 262k, 자체 호스팅에 필요한 단일 카드와 지정 이미지는 서로 다른 세 가지 경로다. 판단 기준은 대상 하드웨어에서 처리량과 p99 지연을 실측하고 자체 파이프라인의 기존 지연과 비교하는 것이다. 벤더 플랫폼 측의 20밀리초를 그대로 인용해서는 안 되며, 그 숫자는 그들의 종단 간 환경에서 측정한 것이다.
제한과 확인할 사항
이 글의 벤치마크와 지연 시간 수치는 모두 Baseten의 자체 보고이며 독립적인 재현이 없다. Jev Decision Index는 Hugging Face의 커뮤니티 리더보드이지만, 각 사업자의 점수 역시 Baseten의 모델 카드에서 인용한 것이다. 20밀리초와 49밀리초 비교는 같은 플랫폼 내부의 측정 기준에 한정되며, 블로그가 말한 '5배 빠르다'는 비교 대상을 특정하지 않았다. MIT는 가중치 페이지에 표시된 라이선스로, 기반 모델의 파생 권리와 학습 데이터 출처에 대한 완전한 설명과 같지 않다. 상용화 전에 저장소의 라이선스와 데이터 설명을 직접 확인해야 한다. joey-1은 현재 KimiSeek의 모델 카탈로그에 없으며, 보도에서 언급한 API 가용성과 가격은 Baseten과 OpenRouter 측의 공급 상황을 가리킨다. 이 플랫폼에서 사용 가능한 모델과 과금을 확인하려면 사이트의 가격 페이지를 참조해야 한다.