← 전체 모델 소식

Nous, Arete-27B 공개: Qwen3.8-27B에 순수 SFT 적용, 자체 평가 선전성 응답 22%→0.9%

MarkTechPost가 2026년 11월 7일 보도한 바에 따르면, Nous Research는 알리바바의 Qwen3.8-27B를 감독 미세조정만으로 개조한 Arete-27B를 공개했다. 자체 평가 803개 프롬프트에서 선전성 응답 비율이 22%에서 0.9%로 줄고 사실 평균 점수가 2.32에서 2.98로 올랐으며, 가중치는 Apache 2.0으로 배포되지만 현재 이 모델을 제공하는 호스팅 추론 서비스는 없다.

게시 수정

주요 변화

MarkTechPost가 2026년 11월 7일(필자 Asif Razzaq) 보도한 바에 따르면, Nous Research는 알리바바 Qwen3.8-27B를 감독 미세조정한 270억 파라미터 밀집(dense) 오픈 웨이트 모델 Arete-27B를 공개했다. 보도에 따르면 이번 개조에는 SFT만 사용했고 강화학습도, 선호 최적화도, 아키텍처 변경도 없었다. 가중치는 기반 모델과 동일하게 Apache 2.0으로 배포된다. 학습은 약 5280만 토큰, 64k 컨텍스트, 2 에폭, 1202 스텝, 배치 크기 48, 최대 학습률 1e-5로 진행됐으며 언어 모델 가중치는 전부 학습됐고, 비전 인코더는 데이터가 순수 텍스트라 동결됐으며, 다중 토큰 예측 헤드는 비활성화됐다. 교사 모델은 Thinking Machines의 오픈 모델 Inkling이며, Nous는 증류 관련 이용약관 제한을 피하기 위해 오픈 교사를 선택했다고 밝혔고, Nemotron 3 Ultra는 중국 관련 주제에서의 이력 때문에 채택하지 않았다고 한다. 함께 공개된 데이터셋 arete-data-pairs는 7개 주제에 걸친 34,878개 프롬프트를 담고 있으며, 각 프롬프트에는 Inkling과 Qwen의 응답이 함께 있다. 이 중 수용된 교사 응답 29,236개가 SFT 학습 세트를 이룬다. 평가 세트 Propaganda_Eval은 7개 가치 범주에 걸친 803개 프롬프트로 구성되며 Grok 4.7이 채점해 0~5의 사실 평균 점수와 '선전이 있음' 응답 비율을 각각 산출한다. 채점은 정확한 문구를 인용해야만 선전으로 표시할 수 있게 되어 있고, 평가 세트와 겹치는 학습 프롬프트는 삭제됐으며, 평가 세트는 채점 스크립트와 함께 MIT 라이선스로 공개됐다. 보도가 제시한 결과는 사실 평균 2.32→2.98, 선전 비율 22%→0.9%, 0점 응답 803개 중 359개→216개다. 변화가 가장 큰 범주는 표현의 자유로, 사실 점수는 0.89에서 2.44로, 선전 비율은 60%에서 1%로 바뀌었다.

개발자에게 미치는 영향

이번 공개에서 개발자가 실제로 주목할 점은 단일 점수가 아니라 방법론이다. 아키텍처를 건드리지 않고 SFT만으로도 벤더 자체 평가에서 특정 유형의 응답 행동을 크게 바꿀 수 있었고, 보도에 따르면 능력은 대체로 유지됐다. Hermes Bench는 65.77%에서 65.60%로, Nous 스스로 노이즈라고 부르는 수준의 변화였고, Terminal-Bench 2.1은 Nous의 테스트 프레임워크에서 67%에서 70%로 올랐지만 Nous는 이 상승을 자신들의 학습 덕으로 돌리지 않았다. 다시 말해 가치관 방향의 변경은 예상보다 저렴해 보이지만 그 비용은 다른 곳에 기록된다. 사실 평균 2.98은 여전히 보도 표의 Muse Glimmer 30B(3.02)보다 낮고, 선전 비율 0.9%도 Muse Glimmer와 Gemma 4 31B의 0.5%보다 높으며, 803개 중 216개는 여전히 0점이다. 이는 '공식 입장을 덜 반복하는 것'과 '사실을 정확히 말하는 것'이 별개의 축이며 하나의 지표로 다른 하나를 대체할 수 없음을 뜻한다. 배포 측면에서 보도는 현재 이 모델을 제공하는 호스팅 추론 서비스가 없다고 전한다. BF16 가중치는 53.81GB, 커뮤니티 Q4_K_M 양자화 버전은 17.20GB이며 llama.cpp, LM Studio, Ollama에서 실행할 수 있고 GGUF 버전에는 이미지 프로젝터도 포함된다. 다만 기반 모델 Qwen3.8-27B는 262144 토큰을 기본 지원하는 반면 미세조정판의 컨텍스트는 '미공개(64k에서 학습)'로 표기되어 있어, 장문 컨텍스트와 이미지 경로의 실제 성능을 뒷받침할 데이터가 부족하다. 라이선스 측면에서 보도는 가중치가 Apache 2.0, 평가 세트가 MIT라고 전하지만, 구체적 조항과 상업적 경계는 사용 전에 모델 카드와 데이터셋 페이지에서 다시 확인해야 한다. 또한 대부분의 모델 교체에서 숨은 비용은 프롬프트와 시스템 문구에 있다. 기존에 기반 모델의 거부 응답을 안전장치로 삼았다면 이 미세조정판으로 바꾼 뒤 거부율이 달라지므로 안전장치 로직도 함께 조정해야 한다.

연동 및 평가 제안

다음은 조건부 제안과 추론이며 보도된 사실이 아니다. 첫째, Arete-27B로 로컬 기반 모델을 교체할지 여부다. 보도된 변화는 동종 행동이 자체 평가에서 크게 줄었다는 것이지만, 능력 데이터는 산출 기준이 다르다. 기반 모델의 Qwen 공식 기준 Terminal-Bench 2.1은 73.0이고, 67%와 70%는 Nous의 테스트 프레임워크에서 나온 값이라 직접 빼서 비교할 수 없다. 업무 부하가 터미널이나 코딩 계열 에이전트 작업이고, 동시에 자체 호스팅이 필수이며 호스팅 서비스가 없어도 감당할 수 있는 경우에만 Arete-27B를 후보에 올릴 만하다. 호스팅 API에 의존하거나 공식 벤치마크의 뒷받침이 필요하다면 일단 기반 모델에 머무는 게 낫다. 기반 Qwen3.8 27B는 이미 사이트의 모델 목록에 올라 있으며, 가격과 할당량은 사이트 가격 페이지를 기준으로 한다. 판단 기준으로는 자체 보유한 소규모 실제 요청 세트(예: 과거 티켓이나 스크립트 작업 50~200건)로 두 모델을 동시에 돌려 작업 통과율과 거부율을 비교하고, 통과율 하락 허용 임계값을 먼저 정한 뒤 결정할 것을 권한다. 둘째, Nous의 평가 방법을 출시 게이트로 채택할지 여부다. 활용 가능한 변화는 평가 세트가 MIT로 공개되고 채점 스크립트가 함께 제공된다는 점이지만, 채점이 Grok 4.7 같은 제3자 폐쇄형 모델에 의존하므로 채점 모델을 바꾸면 결과가 같지 않을 수 있다. 전제 조건은 지시 준수 능력이 비슷한 채점 모델을 보유하고 있고, 실제 트래픽이 평가가 다루는 7개 범주에 실제로 걸쳐 있다는 것이다. 방법은 먼저 일관성 검증을 하는 것이다. 50~100건을 사람이 라벨링해 채점 결과와 건별로 대조하고, 일치율이 정한 임계값(예: 90%)에 도달한 뒤에 일괄 회귀에 쓰고, 그렇지 않으면 방향성 참고로만 삼는다. 셋째, 양자화 단계와 모달리티 경로의 선택이다. 보도된 변화는 24GB 소비자용 VRAM에 대응하는 커뮤니티 Q4_K_M 17.20GB 버전이고, 비전 인코더는 순수 텍스트 데이터에서 동결됐다는 점이다. 이미지 입력이 필요하거나 64k를 넘는 유효 컨텍스트가 필요하다면, 양자화 버전과 BF16 버전을 같은 프롬프트 세트에 놓고 대조해 양자화 후 행동 변동과 장문 텍스트 절단 위치를 각각 측정한 뒤, 양자화 단계를 낮출지 모델을 포기할지 결정해야 한다.

제한과 확인할 사항

이 수치들은 Nous Research가 직접 수행한 평가에서 나온 것이고 채점 모델은 Grok 4.7이며, 보도에는 제3자 재현이나 블라인드 테스트 언급이 없다. 따라서 22%에서 0.9%로의 비교는 독립 검증된 결론이 아니라 벤더 자체 평가 결과로 봐야 한다. 표의 모델 간 비교도 조건이 완전히 같지는 않다. Arete와 Qwen은 온도 0에서, Muse Glimmer와 Gemma는 0.6에서 실행됐고, Terminal-Bench 수치는 서로 다른 테스트 프레임워크에서 나왔다. 미세조정판의 컨텍스트 길이는 공개되지 않았고 장문 컨텍스트와 이미지 경로의 행동에 대한 데이터가 부족하며, 사실 평균 2.98도 동종 모델에 여전히 뒤진다. 이번 카탈로그 확인 시점 기준으로 Arete-27B는 KimiSeek의 모델 카탈로그에 없었다. 보도가 설명한 가중치 다운로드와 로컬 실행 방식은 Nous Research의 배포 채널과 커뮤니티 양자화 버전을 가리키며, 사용 가능 여부는 벤더나 이후 서비스 제공자 발표를 기준으로 해야 한다. 카탈로그에 있는 기반 Qwen3.8 27B는 다른 버전이며, 그것이 등재되어 있다고 해서 Arete-27B를 쓸 수 있다는 뜻은 아니다. 보도는 또한 현재 이 모델을 제공하는 호스팅 추론 서비스가 없다고 전하므로, API 접근 가능 여부 역시 벤더 측 사정을 뜻한다. 아울러 이런 내용 성향 조정은 시장별 규정과 콘텐츠 정책 요건과 관련되므로 배포 전에 독립적으로 평가해야 하며, 이 글은 규정 준수 조언이 아니다.

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

Nous Research 发布 Arete-27B:把 Qwen3.8-27B 的宣传性回答从 22% 降到 0.9%

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.