바이두, ERNIE 5.5 Flash Base 가중치 공개: 280B MoE·컨텍스트 1M 확장, 도입 전 확인할 세 가지
머신하트(Machine Heart)가 2026년 11월 5일 보도한 바에 따르면, 바이두는 사전학습 기반 모델 ERNIE 5.5 Flash Base를 발표하고 가중치를 공개했다. 희소 MoE 구조로 총 파라미터 280B, 토큰당 14B 활성화, 33.5T 토큰으로 사전학습했으며, 학습 컨텍스트는 128K이고 파인튜닝과 추론에서는 1M까지 확장된다. FP8과 BF16 가중치, vLLM·SGLang 레시피도 함께 제시됐다.
주요 변화
2026년 11월 5일, 머신하트(Machine Heart)는 바이두가 차세대 기반 모델 ERNIE 5.5 Flash Base를 발표하고 가중치를 공개했다고 보도했다. 보도에 제시된 사양은 이렇다. 희소 MoE로 총 파라미터 280B, 토큰당 14B 활성화, 33.5T 토큰으로 처음부터 사전학습했으며, 학습 컨텍스트는 최대 128K이고 파인튜닝과 추론 단계에서는 1M 토큰까지 확장된다. 43층 Transformer, 히든 사이즈 4096, 어텐션 헤드 64개이며, 첫 번째 층을 제외한 모든 층의 피드포워드 네트워크가 MoE 블록이다. 가중치는 FP8과 BF16 두 버전으로 Hugging Face에 공개됐고, vLLM과 SGLang 커뮤니티가 대응 레시피(cookbook)를 제공했다. 보도는 세 가지 구조 변경을 중점적으로 다뤘다. 어텐션은 MLA와 HCA를 혼합한다. 43개 층 가운데 6개 층만 토큰 단위의 전체 컨텍스트 접근을 유지하는 MLA이고, 나머지 37개 층은 강하게 압축하는 어텐션 HCA로 128개 토큰을 하나의 캐시 항목으로 압축한다. MLA 층에는 다시 희소 어텐션 DSA를 도입해, 가벼운 인덱서가 각 쿼리에 대해 점수가 가장 높은 top-k 과거 위치를 고른다. 보도에 따르면 이 방식의 사전학습 loss는 조밀 어텐션과 동등한 수준이다. MoE 층은 Multi-Router를 사용해 독립적으로 초기화된 여러 sigmoid 라우터가 동시에 점수를 매긴다. 블록마다 512개의 라우팅 전문가가 있고 매번 10개에 공유 전문가 1개를 더해 선택하며, 토큰은 먼저 2048차원 잠재 공간으로 투영해 계산한 뒤 다시 매핑한다. 학습 목표에서는 ECHO가 별도의 MTP 모듈을 덧붙이지 않고, 백본의 마지막 층이 미래 토큰 예측을 함께 담당하며 추론 시에는 추측 디코딩의 내장 draft 역할도 겸한다. 이 밖에도 mHC 잔차, MultiMax 출력 헤드, 약 200K 규모의 BPE 어휘(숫자는 세 자리씩 분할) 같은 변경이 있다. 큰 head dim을 위한 FlashMask-4 연산자는 PaddlePaddle 저장소에 이미 공개돼 있다. 보도에 따르면 공식 비교에서 ERNIE 5.5 Flash Base는 지식, 추론, 수학, 코드, 다국어, 장문맥 벤치마크 전반에서 DeepSeek-V4-Flash Base, Hy3-preview-Base, MiMo-V2.5-Base를 앞섰다. DeepSeek-V4-Flash-Base(284B 파라미터, 13B 활성화)와 항목별로 비교할 때 코드 격차가 가장 컸는데, HumanEval+는 82.3 대 69.5, LiveCodeBench는 40.1 대 31.9, FullStackBench는 54.6 대 43.3이었다. 동시에 ChineseSimpleQA 등 일부 평가에서는 소폭 뒤졌다. 보도는 또 ERNIE 5.5 Flash 정식 버전이 곧 출시될 예정이라고 전했다.
개발자에게 미치는 영향
이것은 가중치 공개이며, 바로 호출할 수 있는 서비스 출시가 아니다. 보도에는 API 출시, 호스팅 가격, 상업적 조건에 대한 정보가 없고 라이선스 유형도 밝히지 않았다. 가중치 공개와 오픈소스 라이선스는 별개이며, 상업적 사용과 재배포 가능 여부는 모델 카드나 저장소의 라이선스 문구를 기준으로 판단해야 한다. 가중치를 공개했다는 것은 이후 방향을 사용자에게 맡긴다는 뜻이다. 이것은 Base 모델로, 보도에서는 이미 완전한 범용 능력을 갖췄다고 하지만 대화가 되고 Agent를 돌릴 수 있는 제품으로 만들려면 지시 미세조정, 강화학습 또는 도메인 적응을 직접 붙여야 한다. 도입과 배포에서 가장 현실적인 영향은 두 곳이다. 첫째는 비용 구조다. HCA는 대부분 층의 KV를 128토큰당 하나로 압축하고, 6개 MLA 층만 토큰 단위 접근을 유지한다. 보도가 밝힌 설계 의도는 장문맥 Pre-fill과 KV cache 점유를 낮추는 것이다. 조밀 어텐션 경험으로 VRAM과 동시성을 추정하면 크게 틀릴 가능성이 있지만, 압축 어텐션이 세밀한 검색에서 실제로 어떤 성능을 내는지는 자기 작업에서 검증해야 하며 '장문맥 벤치마크가 전반적으로 견고하다'는 점에서 곧바로 유추할 수는 없다. 둘째는 추론 경로다. ECHO는 백본 마지막 층이 draft를 겸하게 하는데, 보도에 따르면 파라미터가 거의 늘지 않고 수용률은 별도 MTP보다 높다. 다만 이 가속이 사용하는 추론 스택에서 실제로 켜지는지, 어떻게 설정하는지는 vLLM/SGLang 레시피의 구현에 달려 있으며 모델 자체가 자동으로 적용되는 것이 아니다. 총 파라미터 280B라는 점도, 토큰당 14B만 활성화되더라도 가중치 자체는 여러 장의 GPU 메모리를 필요로 한다는 뜻이다. FP8 기준 파라미터당 약 1바이트로 대략 계산하면 가중치만 수백 GB 규모이므로, 배포 전에 먼저 따져야 할 몫이다. 경쟁 구도에서 보도는 ERNIE 5.5 Flash Base를 Flash 등급에 놓았고, 같은 등급의 상대로 DeepSeek-V4-Flash Base, Hy3-preview-Base, MiMo-V2.5-Base를 지목했다. 개발자 입장에서 선택할 수 있는 기반 모델이 하나 늘어나는 것은 좋은 일이지만, 보도의 모든 벤치마크는 공식 자체 보고이며 비교 대상의 구체적 버전도 이번 확인으로는 검증할 수 없다. 그 참고 가치는 절대값이 아니라 방향에 있다.
연동 및 평가 제안
아래는 조건부 권고와 추론이며, 보도된 사실이 아니다. 결정 1: FP8과 BF16 중 무엇을 먼저 쓸 것인가. 관련 보도 사실은 바이두가 FP8과 BF16 두 버전을 함께 공개했다는 점이다. 목표가 바로 외부 서비스이고 대상 GPU가 FP8을 잘 지원한다면, 먼저 FP8로 VRAM을 줄이고 처리량을 확보할 수 있다. 계속 사전학습을 하거나 비교적 무거운 미세조정을 해야 하거나, 하드웨어의 FP8 지원이 제한적이라면 BF16에서 시작하는 편이 낫다. 분기점은 '추론만 할 것인가' 아니면 '학습도 할 것인가'다. 검증 기준: 자기 대표 입력 세트를 골라 두 가중치에 같은 평가를 돌리고, 과제 지표의 일치 정도와 VRAM 최고치, 첫 토큰 지연, 처리량을 기록해 품질 손실을 수치화한 뒤 결정하라. FP8이 무손실이라고 기본 가정해서는 안 된다. 결정 2: 1M 컨텍스트는 장점인가 함정인가. 관련 보도 사실은 학습 컨텍스트가 128K이고 파인튜닝과 추론에서 1M으로 확장된다는 점이다. 워크로드가 장문서 질의응답, 저장소 수준 코드, 장시간 실행되는 Agent 컨텍스트라면 먼저 길이 단계별 테스트를 하고 상한을 정하라. 짧은 대화나 단일 턴 작업이라면 컨텍스트를 128K 이내로 계획하는 편이 안전하다. 분기점은 정말 한 번의 요청에 128K를 훨씬 넘는 내용을 넣어야 하는지다. 검증 기준: 32K, 128K, 256K, 1M 구간에서 각각 자기 검색 또는 질의응답 세트를 돌리고 정확도, 첫 토큰 지연, KV VRAM이 길이에 따라 어떻게 변하는지 기록해, 정확도가 뚜렷하게 떨어지는 변곡점을 찾은 뒤 상한을 정하라. 결정 3: 지금 Base로 자체 학습을 할 것인가, 정식 버전을 기다릴 것인가. 보도는 정식 버전이 곧 나온다고 했지만 날짜와 사양은 제시하지 않았다. 따라서 본질적으로는 '이미 가진 데이터와 학습 파이프라인'과 '바로 쓸 수 있는 Chat/Agent 모델을 기다림' 사이의 선택이다. 조건은 규모 있는 도메인 데이터와 후속 학습 경험이 있는지다. 없다면 Base로 자체 학습하는 비용이 이익보다 클 수 있다. 검증 기준: 기존 SFT 데이터로 소규모 시험 학습을 돌리고, 도메인 홀드아웃 세트에서 현재 온라인 모델과 비교해 개선이 교체 및 운영 비용을 안정적으로 상쇄하는지 보라. 계속 추적한다면 세 가지를 지켜볼 만하다. 모델 카드의 라이선스 문구, vLLM/SGLang 레시피에서 장문맥과 추측 디코딩의 실제 설정 항목, 그리고 정식 버전 출시 때 Base와 같은 평가 기준을 제시하는지다.
제한과 확인할 사항
이 글의 정보는 기본적으로 벤더 측 설명에 기반한다. 아키텍처 설명, 라우팅과 어텐션 설계, ECHO의 효과, 그리고 DeepSeek-V4-Flash Base 등 모델과의 항목별 비교는 모두 보도가 전한 공식 데이터이며 이번에 독립적으로 재현하지 않았다. 보도가 지목한 경쟁 모델 버전도 확인 가능한 범위에 없으므로 벤치마크 수치는 자체 보고 데이터로 봐야 한다. 게다가 비교 대상이 Base 모델이므로 각 사가 이미 서비스 중인 Chat 버전과 결론을 그대로 바꿔 적용할 수 없다. 라이선스 측면에서 보도는 가중치 공개만 언급했을 뿐 라이선스 이름이나 상업적 사용, 재배포 조건을 제시하지 않았다. 가중치를 내려받을 수 있다는 것이 임의로 사용할 수 있다는 뜻은 아니며, 실제 적용 전에 모델 카드와 저장소를 확인해야 한다. 보도는 API나 호스팅 서비스도 언급하지 않았다. ERNIE 5.5 Flash Base는 현재 KimiSeek 모델 카탈로그에 없다. 이 글에서 언급한 다운로드 위치와 추론 레시피는 모두 바이두와 vLLM, SGLang 커뮤니티를 가리키며, 보고된 사용 가능성은 제공자 측 설명에 해당한다. 이후 호스팅 서비스나 API가 나온다면 그 사용 가능성과 가격은 제공자와 이 사이트의 가격 페이지를 기준으로 해야 한다. 또한 1M은 파인튜닝과 추론 단계의 확장 범위이며, 보도는 그 길이에서의 품질 성능을 밝히지 않았다. '6개 장문맥 벤치마크가 견고하다'는 것이 자기 과제에서도 그렇다는 뜻은 아니다. 정식 버전은 아직 출시되지 않았고 그 능력과 공개 범위는 미지수다.