바이두, ERNIE 5.5 Flash Base 가중치 공개: 280B MoE 기반 모델, 배포와 라이선스에 각각 관문 있어
MarkTechPost가 2026년 11월 5일 보도한 바에 따르면, 바이두는 ERNIE 5.5 Flash Base의 FP8과 BF16 가중치를 공개했다. 총 파라미터 280B, 토큰당 14B 활성화, 학습 컨텍스트 128K, 추론 시 1M까지 확장 가능하다. 사전학습이 끝난 시점의 기반 모델로 중간학습과 후학습은 포함하지 않는다. 보도에 따르면 라이선스는 연 매출 5,000만 달러를 기준으로 하며 EU, 영국, 한국은 제외된다.
주요 변화
보도에 따르면 바이두는 Hugging Face와 ModelScope에 ERNIE 5.5 Flash Base 가중치를 공개했다. 순수 텍스트 희소 MoE 기반 모델로, 43개 층, 은닉 차원 4096, 총 파라미터 280B, 토큰당 14B 활성화이며, Muon 옵티마이저로 33.5T 토큰에서 처음부터 사전학습했다. 가중치는 사전학습 종료 시점에 멈춰 있으며, 바이두는 이를 지도 미세조정, 명령 미세조정, 강화학습 방법을 직접 비교할 수 있는 통합 출발점으로 위치시킨다. 구조적으로 43개 층 중 37개 층은 중압축 어텐션 HCA를 사용해 128개 토큰마다 1개를 캐시하고, 나머지 6개 층은 MLA와 희소 어텐션을 사용해 7개 층마다 1개 층이 전체 컨텍스트 접근을 유지한다. 각 MoE 층은 512개의 라우팅 전문가(top-10)와 1개의 공유 전문가를 두고, 단일 라우터 대신 여러 개의 독립 시그모이드 라우터를 사용한다. ECHO는 백본 마지막 층을 재사용해 미래 토큰을 예측하며 추측 디코딩의 내장 드래프트 모델 역할도 하고, 추가 0.36B 파라미터는 주 파라미터 집계에 포함되지 않는다. 바이두는 자사 통일 절차의 30개 기반 모델 벤치마크 중 24개에서 최고를 기록했다고 밝혔으며, MMLU-Pro 78.4(같은 절차에서 DeepSeek-V4-Flash-Base는 69.2)를 기록했지만 HELMET-Rerank 56.2로 상대의 60.0에 뒤졌고 ChineseSimpleQA, INCLUDE-lite, InfiniteBench 등 6개 항목에서도 1위를 내줬다. 배포 측면에서 보도가 제시한 참고 구성은 SGLang의 4-way 병렬이며, vLLM은 0.32.0 버전과 vLLM-ERNIE 플러그인이 필요하고, 두 방식 모두 최대 1,048,576 토큰을 받는다. 기반 모델이므로 chat이 아니라 completions 엔드포인트로 실행된다.
개발자에게 미치는 영향
개발자에게 직접적인 의미는 여러 층위가 있다. 첫째, 이는 흔히 말하는 오픈소스 라이선스가 아니라 공개 가중치다. 가중치는 내려받을 수 있지만 라이선스는 사용자 정의 ERNIE 5.5 Flash Base License v1.0이며, 보도에 따르면 연 매출 5,000만 달러 이하는 무료이고 EU, 영국, 한국은 제외된다. 실제 권리는 라이선스 원문을 기준으로 해야 하며, Hugging Face에 가중치가 올라와 있다고 해서 통용되는 오픈소스 계약으로 간주해서는 안 된다. 둘째, 이 모델이 해결하는 것은 '후학습을 어디서 시작할까'이지 '챗 모델을 바로 연결하기'가 아니다. 후학습이 없으면 명령 수행과 대화 형식이 없으므로, 제품에 넣으려면 직접 SFT나 RL 절차를 거치거나 이미 정렬된 모델로 바꿔야 하며, 두 경로의 공학 작업량 차이는 크다. 셋째, 긴 컨텍스트 비용 구조는 의도적으로 얇게 설계됐다. HCA는 37개 층에서 128 토큰당 1개만 캐시해 이론상 KV 캐시를 크게 줄이지만, 7개 층마다 1개 층만 전체 컨텍스트를 유지하므로, 긴 문서 검색과 저장소 수준 이해에서 얼마나 이득을 볼지는 RepoQA 91.7 같은 자체 보고 수치를 그대로 받아들이지 말고 자신의 문서 집합으로 검증해야 한다. 넷째, 보도는 4-way 병렬 참고 구성만 제시했고 GPU 모델과 메모리는 공개하지 않았으므로, 단일 서버에서 서비스 가능한지, 카드가 몇 장 필요한지 같은 용량 문제는 이 기사만으로 결론을 낼 수 없다. 또한 ECHO의 0.36B 파라미터가 주 파라미터 집계에서 빠져 있으므로, 총 파라미터로 하드웨어를 추정하면 계산이 낙관적으로 기울 수 있다.
연동 및 평가 제안
다음은 모두 조건부 분석이나 제안이며 보도된 사실이 아니다. 정밀도 버전에 관해: 보도에 따르면 FP8과 BF16 두 가중치가 모두 공개됐고, 이는 우선 이후 학습 경로에 영향을 준다. 추론 서비스만 한다면 FP8을 우선 시험할 수 있고, 이 체크포인트에서 계속 사전학습하거나 전체 파라미터 미세조정을 할 계획이라면 BF16이 더 안정적인 출발점이다. 이 선택을 바꾸는 전제는 하드웨어의 FP8 연산 지원 여부와 비교 가능한 미세조정 예산의 유무다. 측정 가능한 평가 기준은 자체 홀드아웃 세트에서 디코딩 파라미터를 고정하고 FP8과 BF16을 각각 실행해 과제 통과율이나 정확 일치를 비교하는 것이며, FP8의 하락이 사전에 정한 허용선을 넘으면 BF16으로 돌아가거나 FP8을 저위험 요청에만 한정한다. 서비스 스택에 관해: 보도가 제시한 경로는 vLLM의 0.32.0과 공식 플러그인, SGLang 참고 구성은 4-way 텐서 병렬이다. 클러스터가 이미 vLLM을 쓰고 버전을 고정할 수 있다면 플러그인 경로의 이전 비용이 낮다. 버전 업그레이드가 통제되어 있거나 플러그인 의존을 먼저 피하고 싶다면 SGLang 참고 구성이 수월하다. 판단을 바꾸는 조건은 버전 고정 가능성과 운영 측의 서드파티 플러그인 수용도다. 측정 가능한 기준은 목표 컨텍스트 길이에서 카드당 동시 처리 수, 최대 메모리, 초당 디코딩 토큰을 재고, 더 긴 컨텍스트를 위해 카드를 늘릴 가치가 있는지 결정하는 것이다. 이 기반 모델에서 시작할지에 관해: 보도는 completions 엔드포인트로 실행된다고 명시하며, 이것이 분기점이다. 과제가 즉시 사용 가능한 명령 수행과 도구 호출을 요구한다면 기존 정렬 모델을 먼저 쓰고, 같은 체크포인트에서 서로 다른 후학습 방안을 비교할 필요가 있고 SFT나 RL 공학 역량이 있을 때만 이 체크포인트에 추가 가치가 있다. 측정 방식은 직접 후학습한 모델과 현재 쓰는 모델을 같은 내부 문제 세트에서 통과율로 비교하고, 이기지 못하면 이전하지 않는 것이다.
제한과 확인할 사항
미지 항목이 적지 않다. GPU 모델, 메모리, 단일 서버 서비스 규모는 보도에서 공개되지 않았다. 모든 벤치마크는 바이두 자체 보고이며, 바이두 절차에서 측정한 경쟁사 수치가 각 업체가 공개한 것과 조금씩 다르다. 예를 들어 DeepSeek은 자사 MMLU-Pro를 68.3으로, 바이두는 69.2로 측정했고, 텐센트는 Hy3를 65.76으로, 바이두는 66.9로 측정했다. 이는 이 비교가 상대적 위치를 보는 데만 적합하고 업체 간 결론으로 삼기에는 부적합하다는 뜻이다. 1M 컨텍스트는 서버가 받아들이는 상한이며, 보도는 해당 길이에서의 품질 데이터를 제시하지 않았다. 중간 구간의 LongBench-v2 48.7도 긴 컨텍스트 능력이 전면적으로 앞서지는 않음을 시사하므로, 개발자는 목표 길이에서 메모리와 지연을 직접 측정해야 한다. 보도가 전한 라이선스 조항, 즉 매출 기준과 EU, 영국, 한국 제외는 라이선스 원문으로 재확인해야 한다. 2026년 11월 9일 기준 카탈로그 확인 결과, KimiSeek의 온라인 모델 카탈로그에는 ERNIE 5.5 Flash Base 항목이 없다. 보도가 다루는 API 사용 가능성은 모두 바이두 측을 가리키며 이 사이트가 아니므로, 호스팅 호출이 필요하면 바이두 공식 채널을 기준으로 해야 한다. 이 사이트를 통해 사용하려면 정확히 대응하는 카탈로그 항목이 먼저 있어야 한다. 또한 FlashMask-4 학습 커널의 SM90 및 SM100 가속 수치도 업체 자체 보고이며, 같은 발표는 11월 5일 당일 중국어 매체에서 이미 보도됐다. 여기서 보충한 것은 구조, 배포 전제 조건, 라이선스 범위처럼 접속 결정에 더 영향을 주는 부분이다.