vLLM 시맨틱 라우터, d3-ultra 공개: 27B 멀티모달 의사결정 모델, 한 번의 입력으로 모든 질문에 답변
MarkTechPost가 2026년 10월 26일 보도한 바에 따르면, vLLM 시맨틱 라우터 팀은 27B 멀티모달 의사결정 모델 d3-ultra를 Apache-2.0으로 공개했다. 이 모델은 텍스트를 생성하지 않으며, 한 번 입력을 읽는 것만으로 각 질문의 답변에 대한 확률을 반환하고, 라우팅, 분류, 시각 박스 지정, 비디오 검사를 포괄한다.
주요 변화
MarkTechPost가 2026년 10월 26일 보도한 바에 따르면, vLLM 시맨틱 라우터 팀은 d3-ultra를 공개했다. 이는 26.09B 파라미터의 dense 멀티모달 의사결정 모델(0.46B 비전 인코더 포함)로, 가중치가 Apache-2.0 라이선스로 공개되며 Decision 3.0 제품군(0.6B~27B)에 속한다. 생성형 모델과 달리 d3-ultra는 텍스트를 출력하지 않는다. 호출자는 상태(텍스트 또는 JSON, 이미지나 비디오 추가 가능)와 타입이 지정된 질문 집합(Choice, Yes/No, Score, Box, Track)을 제출하고, 모델은 입력을 한 번만 읽은 뒤 각 질문의 모든 후보 답변에 대한 확률을 반환한다. 보도에 따르면 설정상 백본은 Qwen3.5 아키텍처이며 64개 레이어(48개 선형 어텐션 + 16개 전체 어텐션)이고, 모델 카드에는 기본 체크포인트가 명시되지 않았다. 반면 vLLM의 레시피는 같은 제품군의 d3가 Qwen3.8-27B 기반으로 학습되었다고 밝히고 있어, d3-ultra 자체의 기반 출처는 아직 불분명하다. 질문당 컨텍스트는 131,072 tokens이며, 초과 요청은 조용히 잘리지 않고 max_length_exceeded로 즉시 실패한다. Box 유형은 항상 하나의 박스와 신뢰도를 반환하며, 신뢰도가 0에 가까우면 대상이 없다고 간주한다. 보도에서 제시된 배포 경로는 Transformers(transformers==5.17.0 필요)와 선택적 flash-linear-attention 커널, 2026년 10월 25일 PR #5449로 병합된 vllm-sr serve 명령, 모델 카드가 무료 키를 제공한다고 밝힌 호스팅 인터페이스, 공식 Hugging Face Space 데모 등이다. 성능 면에서 팀은 자체 구축한 두 개의 비공개 테스트 세트에서 GLiDE V1.2, d1-ultra, d3-turbo, d3, Jev 1.14와 비교했다. SR-Text는 10,411개 요청과 73,495개 질문(기회 보정 정확도)으로 구성되었고, d3-ultra가 87.2로 1위를 차지해 GLiDE V1.2의 85.1과 같은 제품군 d3-turbo의 83.1을 앞섰다. 다만 '예술과 인간의 취향' 영역에서는 d3-ultra가 89.6, d1-ultra가 90.8이었으며, 보도는 이 차이가 오차 범위 내라고 전했다. SR-Box는 4,984개 이미지의 5,678개 박스 지정 질문을 포함하며 IoU 0.5를 정답 기준으로 삼았다. d3-ultra는 10개 영역에서 58.2%, 9개 영역에서 54.6%로, d3-turbo의 60.0%, 59.6%보다 낮았다. 팀은 d3-turbo가 자연 이미지에서 더 강하고 d3-ultra가 차트에서 앞선다고 밝혔다. 지연 시간과 관련해 보도는 단일 AMD Instinct MI325X에서 AutoModel로 BF16 가중치를 사용해 테스트했으며, 사진 한 장에 단일 질문은 304 ms, 255개 질문은 2.16 s가 걸려 질문 하나가 늘어날 때마다 평균 약 7.3 ms가 추가된다고 전했다. 공식 양자화 버전은 아직 공개되지 않았다. 모든 벤치마크 수치는 팀이 비공개 테스트 세트에서 자체 보고한 결과이며, 공개 지수에는 '제출됨, 아직 순위 미등재'로 표시되어 있다.
개발자에게 미치는 영향
이 모델의 형태는 개별 능력보다 통합 방식에 더 큰 영향을 미친다. 일반적인 생성형 인터페이스는 출력 토큰으로 과금하고 동시성으로 용량을 계획하지만, d3-ultra의 비용과 지연 구조는 '입력마다 한 번의 순전파, 질문이 많아질수록 증가 폭이 완만해짐'이다. 보도된 질문당 7.3 ms는 여러 판단을 한 번의 호출로 합칠 때 주요 비용이 그 한 번의 입력 읽기에 집중된다는 것을 보여준다. 이미 시맨틱 라우터로 요청 분기를 처리하는 팀에게는 대안 경로가 된다. '이 요청은 어느 모델로 보내야 하는가', '이 티켓은 어느 큐에 속하는가', '이 콘텐츠는 위반인가' 같은 판단을 범용 LLM에 프롬프트로 JSON을 출력하게 하고 파싱하는 대신, 통제된 타입 지정 질문에 대한 확률로 받을 수 있다. 출력이 본질적으로 구조화된 확률값이므로 파싱 실패 위험이 한 층 줄어든다. 대가는 유연성이다. 모델이 자유 생성을 하지 않으므로 질문 유형과 선택지를 미리 설계해야 하며, 이 유형을 벗어나는 작업에는 쓸 수 없다. 라이선스는 구분해서 봐야 한다. 보도는 가중치가 Apache-2.0으로 공개되었다고 전하는데, 이는 가중치를 내려받을 수 있다는 것만이 아니라 라이선스 조항이다. 원칙적으로 상용화와 재배포에 유리하지만, 실제 사용 시에는 모델 카드와 저장소의 라이선스 파일을 확인해야 하며 '가중치 다운로드 가능'만으로 라이선스 권리를 추론해서는 안 된다. 배포 측면에서 26.09B dense 파라미터를 BF16으로 실행하려면 상당한 VRAM이 필요하다. 보도된 테스트는 단일 AMD MI325X에서만 이루어졌고 공식 양자화 버전도 없어, 더 작은 VRAM 장비에서 자체 호스팅하려는 팀은 현재 공식 경로가 없다. 두 핵심 능력 데이터는 방향이 반대다. 텍스트 판단은 같은 제품군을 전반적으로 앞서지만 시각 박스 지정은 d3-turbo에 뒤진다. 따라서 '더 크고 최신이면 더 좋다'는 식으로 일괄 선택할 수 없고, 워크로드별로 취사선택해야 한다. 기반 출처는 여전히 정보 공백이다. 설정은 Qwen3.5 아키텍처를 보여주지만 레시피는 같은 제품군 d3가 Qwen3.8-27B 기반이라고만 밝히고, 모델 카드는 d3-ultra의 기본 체크포인트를 명시하지 않는다. 이는 학습 데이터 출처, 라이선스 계승, 향후 미세조정 여지에 대한 판단에 영향을 준다. 모든 벤치마크는 팀 비공개 테스트 세트의 자체 보고이며 공개 지수에는 아직 등재되지 않았으므로, 제3자 재현 전까지 87.2와 58.2%는 공급사 자체 보고로 봐야 한다.
연동 및 평가 제안
다음은 보도에 기반한 조건부 분석과 제안이며, 검증된 사실이 아니다. 첫째, 팀이 생성형 LLM으로 요청 라우팅이나 분류를 하고 있다면 먼저 '동일 입력 대조'를 하라. 기존 라우팅 로그에서 실제 요청 묶음을 가져와 현재 프롬프트 방식과 d3-ultra의 Choice 또는 Yes/No 질문 형식으로 각각 실행하고, 같은 인공 라벨 답변을 기준으로 정확도와 종단 간 지연을 비교한다. 트리거 조건은 의사결정 범주가 유한하고 열거 가능하며 답을 고정 선택지로 쓸 수 있는 경우다. 판단에 자유로운 설명이나 다단계 추론이 자주 필요하다면 대체는 적합하지 않다. 측정 지표는 동일 라벨 세트의 정확도와 P95 종단 간 지연이며, d3-ultra가 기존 방식보다 낮지 않고 총 지연이 더 짧을 때만 전환을 고려한다. 둘째, 워크로드가 시각 위치 지정 중심이라면 SR-Text 우위만 보고 d3-ultra를 기본 채택하지 마라. 보도에 따르면 d3-turbo는 자연 이미지 박스 지정에서 더 강하고 d3-ultra는 차트에서 앞선다. 따라서 자체 이미지 유형을 계층화(자연 사진과 차트를 분리)하고 두 모델을 각각 IoU 0.5 기준으로 정확도를 측정하며, '신뢰도가 0에 가까운데 대상이 실제로 존재하는' 미검출 비율을 따로 집계한 뒤 이미지 유형 비중에 따라 선택하라. 차트 이미지 비중이 높을 때만 d3-ultra의 위치 지정 우위가 실현될 수 있다. 셋째, 자체 호스팅 전에 VRAM과 처리량을 먼저 산정하라. 26.09B dense BF16에 비전 인코더와 KV 캐시를 더해 VRAM 요구량을 추정하고, 대상 하드웨어에서 단일 요청으로 255개 질문에 답할 때 보도된 2.16 s 수준에 근접하는지 실측하며, '질문당 304 ms'를 최초 입력 읽기 비용으로 삼아 용량 기준선을 잡아라. VRAM이 부족하고 공식 양자화 버전이 여전히 없다면 해당 경로는 당분간 불가능으로 표시해야 하며, 자체 양자화 후 품질이 변하지 않는다고 가정해서는 안 된다. 넷째, 질문 설계 시 131,072 token의 하드 한도를 제약으로 삼아라. 긴 문서나 다중 프레임 비디오는 먼저 청크로 나누고, max_length_exceeded 오류를 별도로 계측해 요청 실패를 낮은 신뢰도로 오분류하지 않도록 하라. 다섯째, 모델 카드는 무료 키를 제공하는 호스팅 인터페이스가 있다고 밝히지만 보도에는 할당량, 안정성, 데이터 조건이 설명되지 않았다. 프로덕션 사용 전에 서비스 약관을 직접 확인해야 한다.
제한과 확인할 사항
보도의 정확도는 모두 팀이 비공개 테스트 세트에서 자체 보고한 결과로, 제3자 재현이 없으며 공개 지수에는 '제출됨, 아직 순위 미등재'로 표시되어 있다. 지연 데이터는 성격이 다르다. 보도에 따르면 단일 AMD Instinct MI325X에서 AutoModel과 BF16 가중치로 측정되었으며 비공개 벤치마크가 아니고, 다른 하드웨어와 추론 스택에서의 성능은 알 수 없다. 보도는 다른 모델과 동일 하드웨어에서의 지연 비교도 공개하지 않았다. 보도는 두 비공개 테스트 세트의 샘플 구성이 해당 제품군이 잘하는 작업 유형에 편향되었는지 설명하지 않는다. 기반 출처에는 정보 공백이 있다. 설정은 Qwen3.5 아키텍처를 보여주지만 레시피는 같은 제품군 d3가 Qwen3.8-27B 기반이라고만 밝히고 모델 카드는 d3-ultra의 기본 체크포인트를 명시하지 않으므로, Qwen 계열 백본이라는 주장을 확인된 사실로 받아들여서는 안 된다. 배포 테스트는 단일 AMD Instinct MI325X와 BF16 가중치로 제한되며 공식 양자화 버전은 아직 없다. 호스팅 인터페이스의 무료 키 조건, 한도, 가용성은 보도에서 다루지 않았으며 이러한 조건은 언제든 바뀔 수 있다. 이번 카탈로그 확인(2026년 10월 27일) 기준으로 d3-ultra는 KimiSeek의 사용 가능 모델 카탈로그에 나타나지 않았다. 보도된 API 가용성은 공급사 자체 인터페이스를 뜻하며 이 사이트와 무관하다. 사용 가능 모델과 과금에 관심이 있다면 사이트 내 가격 페이지를 기준으로 삼아야 한다.