Z.ai, 법률 특화 모델 GLM-Legal 공개: Harvey LAB 전항 통과율 19.17%, API 신청제·가중치 비공개
MarkTechPost가 2026년 10월 13일 보도한 바에 따르면, Z.ai는 법률 분야 모델 GLM-Legal을 공개했다. GLM-5.3-Flash 기반으로 구축되었으며 Harvey LAB에서 전항 통과율 19.17%로 기반 모델의 6.67%의 약 세 배에 달하고, Vals AI 기준 1회 테스트 비용은 0.15달러다. 현재는 API 신청제로만 제공되며 가격과 가중치는 공개되지 않았다.
주요 변화
MarkTechPost가 2026년 10월 13일 보도한 바에 따르면, Z.ai는 계약 검토, 증거 분석, 컴플라이언스 연구를 대상으로 하는 법률 특화 도메인 모델 GLM-Legal을 공개했다. 이 모델은 GLM-5.3-Flash 기반으로 구축되었으며, 출처는 기반 모델이 총 320B 파라미터, 활성 18B 파라미터의 MoE로 100만 토큰 컨텍스트와 128K 최대 출력을 갖추고 희소 어텐션과 선형 어텐션을 혼합하며 텍스트, 이미지, 비디오, 파일을 읽을 수 있다고 전했다. 훈련은 두 단계로, 확장된 법률 코퍼스에서 중간 훈련을 한 뒤 수만 개의 법률 태스크 환경에서 강화학습 후훈련을 수행했으며, 출처는 실행 프레임워크와 모델이 후기 훈련에서 함께 진화한다고도 언급했다. 평가에서 Harvey LAB은 24개 실무 영역에 걸친 1250개 태스크를 포함하는 오픈소스 벤치마크로, 7.5만 건 이상의 전문가 작성 채점 기준으로 점수화되며 모든 기준을 통과해야 해당 태스크를 통과한 것으로 간주한다. Vals AI는 인터넷을 차단한 조건에서 두 개의 LLM 평가자를 통해 홀드아웃 세트를 실행했다. 보도에 따르면 GLM-Legal의 전항 통과율은 19.17%로 79개 모델 중 7위이며 기반 모델은 6.67%다. 단일 기준 통과율은 92.5%다. 같은 순위표에서 Kimi K3는 12.92%, Claude Fable 5는 11.25%, GPT-6 Astra는 5.42%였으나 공개 차트에는 더 높은 순위의 6개 모델이 나열되지 않았고 1위는 25.42%다. LegalBench에서 GLM-Legal은 86.23%로 Claude Fable 5의 88.56%에 뒤졌고, Legal Research Bench에서는 41.83%로 기반 모델의 45.19%보다 낮았다. 접근 방식은 Z.ai 호스팅 API를 통한 신청제뿐이며 보도일 기준 가격은 공개되지 않았고 Hugging Face에 해당 저장소가 없다. 기반 모델은 vLLM이나 SGLang으로 자체 배포할 수 있으며 가중치는 개방형 FP8이다.
개발자에게 미치는 영향
법률 기술 및 기업 법무팀에게 이 소식의 가치는 순위 자체가 아니라, 한 버티컬 모델이 상대적으로 낮은 1회 테스트 비용으로 에이전트형 법률 태스크의 통과율을 기반 모델의 세 배로 끌어올렸다는 점에 있다. 이는 도메인 후훈련과 RL이 긴 흐름의 도구형 태스크에서 범용 능력 향상보다 훨씬 큰 수익을 낼 수 있음을 시사한다. 그러나 도입 판단은 나누어 볼 필요가 있다. 첫째, GLM-Legal은 현재 공개 가중치가 없고 신청제 호스팅 API만 가능하므로 데이터 흐름, 감사, 컴플라이언스 책임의 일부를 다시 벤더에 맡기는 셈이다. 고객 기밀 자료를 다루는 로펌에는 이는 부차적 문제가 아니라 선결 제약이다. 출처에서 말한 개방형 가중치는 기반 모델 GLM-5.3-Flash의 FP8 가중치를 가리키며 GLM-Legal 자체가 오픈소스라는 뜻이 아니다. 가중치 가용성과 라이선스 허가는 별개이며, 기반 모델이 오픈소스라고 해서 파생 모델도 자체 배포 가능하다고 추론할 수 없다. 둘째, 출처 기준의 비용 우위는 신중히 해석해야 한다. 0.15달러는 Vals AI가 입력 100만 토큰당 0.075달러, 출력 0.25달러로 계상해 특정 태스크 길이에서 산출한 1회 테스트 비용이지 벤더가 공개한 API 가격이 아니다. GLM-Legal의 가격은 아직 공개되지 않았으므로 이 숫자에 기반한 어떤 비용 모델도 가정에 불과하다. 셋째, 능력 향상은 균일하지 않다. Harvey LAB에서는 12.5%포인트 향상됐지만 Legal Research Bench에서는 오히려 기반 모델보다 3.36%포인트 낮았다. 이는 이 모델이 다단계 도구 호출형 태스크에 치우쳐 있으며 개방형 법률 검색과 연구에서는 수익이 마이너스일 수 있음을 보여준다. 넷째, Harvey LAB 태스크당 평균 소요 시간은 1시간 12분으로 같은 표의 다수 모델보다 느리다. 대화형 시나리오와 배치 오프라인 시나리오의 선택은 완전히 달라질 것이다. 또한 출처는 Z.ai가 GLM-Legal이 데스크톱 에이전트 앱 AutoClaw에 들어갈 것이라고 밝혔지만 일정은 제시하지 않았다고 전했다. 이는 모두 보도 기준이며 KimiSeek 측은 독립 검증하지 않았다.
연동 및 평가 제안
다음은 권고적 판단이며 검증된 사실이 아니다. 결정 1: 프로토타입 기반으로 삼을지 GLM-Legal 권한을 기다릴지. 보도에 따르면 기반 GLM-5.3-Flash는 이미 확보 가능하고 가중치가 개방되어 있으며 GLM-Legal은 신청제다. 따라서 프로젝트를 즉시 시작해야 하거나 민감 문서를 반드시 로컬에서 처리해야 한다면 기반으로 흐름을 구축하는 편이 현실적이다. 다단계 계약 대조, 증거망 정리처럼 도구 호출이 필요한 시나리오에 집중하고 데이터의 벤더 호스팅을 감수할 수 있다면 신청할 가치가 있다. 전제 조건은 권한 승인 여부와 실제 고객 자료 처리 허용 여부다. 평가 기준은 자체 보유한 50~100건의 과거 계약 검토 샘플에서 기반과 승인 후 GLM-Legal의 '전항 통과' 기준 1회 통과율을 비교하고, 후자가 기반 대비 설명 가능한 폭의 향상을 보여야 하며 그렇지 않으면 전환하지 않는 것으로 삼을 수 있다. 결정 2: 통과율만 보지 말고 지연을 선정 가중치에 넣어라. 출처에 따르면 GLM-Legal은 태스크당 평균 1시간 12분으로 같은 표의 다른 모델보다 확연히 길다. 따라서 변호사 실시간 대화형 어시스턴트 제품과 야간 배치 실사 파이프라인은 다른 선택을 해야 한다. 전자가 지연을 감당할 수 없다면 기반이나 더 빠른 범용 모델을 프런트에 쓰고 고정밀 모델을 비동기 큐에 넣는 것이 조건부 대안이다. 전제는 해당 태스크가 비동기화 가능하고 사용자가 시간 단위 회신을 감수할 수 있다는 것이다. 평가 기준은 실제 동시성 환경에서 P95 종단 간 지연과 태스크당 비용이 예산 내에 있는지 측정하는 것으로 삼을 수 있다. 결정 3: 단일 순위표로 결정하지 마라. 보도는 Harvey LAB의 큰 향상과 Legal Research Bench의 기반 대비 하락이라는 상반된 결과를 함께 제시한다. 따라서 도입 전 자체 업무 분포에 따라 평가 세트를 나누고 검색·연구형과 흐름 실행형 태스크의 통과율을 각각 집계하며 태스크 통과율만 보지 말고 단일 기준 통과율도 기록해야 한다. 평가 기준은 두 유형 태스크에서 기반 대비 차이의 방향이 자체 업무 가중치와 맞아야 한다는 것으로 삼을 수 있다. 검색·연구 비중이 높다면 Harvey LAB 숫자만으로 전환해서는 안 된다. 마지막으로 가격이 공개되지 않았으므로 모든 비용 산정은 먼저 벤더에 과금 기준을 확인하고 자체 토큰 분포로 다시 계산해야 하며, 제3자 1회 비용을 그대로 답습해서는 안 된다.
제한과 확인할 사항
이 보도의 모든 벤치마크 점수, 비용, 소요 시간은 출처가 밝힌 Vals AI의 2026년 10월 12일자 실행 결과에서 나온 것이며 KimiSeek은 독립적으로 재현하지 않았다. GLM-Legal 이 버전은 현재 KimiSeek 모델 카탈로그에 없다. 본문에서 언급한 API 가용성, 신청 방식, 가격 상태는 모두 벤더 Z.ai 측의 것이지 본 사이트의 것이 아니다. Z.ai는 GLM-Legal의 API 가격을 공개하지 않았으므로 출처의 1회 테스트 비용을 실제 과금 기준으로 삼을 수 없다. 기반 GLM-5.3-Flash는 KimiSeek 카탈로그에 같은 이름의 glm-5.3-flash 항목이 있지만 이는 GLM-Legal과 다른 모델이므로 이를 근거로 GLM-Legal이 사용 가능하거나 자체 배포 가능하다고 추론할 수 없다. 출처는 독립적인 GLM-Legal 파라미터 규모를 공개하지 않았고 중국어 PLawBench의 구체적 수치도 제시하지 않았다. Z.ai가 LegalBench와 PLawBench가 비슷하다고 한 주장은 대조할 숫자가 없다. Harvey 순위표에서 더 높은 순위 모델의 명단은 공개 차트에서 생략되었으며 이 보도는 원문대로 전달했을 뿐이다. API 권한 획득 가능 여부, AutoClaw 출시 일정, 실제 라이선스 조건은 모두 확정되지 않았고 벤더의 후속 설명을 따를 필요가 있다.