Aleph Alpha, 오픈 웨이트 모델 Kolibri 공개: 총 78B 중 3B 활성화, 독일어가 훈련 데이터의 21.3%
The Decoder가 2026년 10월 5일 보도한 바에 따르면, Aleph Alpha는 독일어·영어 이중 언어 MoE 모델 Kolibri를 공개했다. 총 파라미터 780억 개, 토큰당 약 30억 개 활성화, 독일어가 훈련 데이터의 21.3%를 차지하며, 가중치는 Apache 2.0 라이선스로 Hugging Face에 공개되었고 최대 100만 토큰 컨텍스트를 지원한다.
주요 변화
The Decoder가 2026년 10월 5일 보도한 바에 따르면, 독일 기업 Aleph Alpha가 독일어·영어 이중 언어 모델 Kolibri를 공개했다. 이 모델은 전문가 혼합(MoE) 아키텍처를 채택해 총 파라미터가 780억 개이며, 토큰당 약 30억 개 파라미터만 활성화되고 최대 100만 토큰의 컨텍스트 창을 제공한다. 보도에 따르면 독일어가 훈련 데이터의 21.3%를 차지하며, 그 배경에는 회사가 이 프로젝트를 위해 전문적으로 구축한 독일어 데이터 파이프라인이 있다. 합성 훈련 데이터에는 중국 모델도 사용되었으나(보도는 구체적인 모델을 명시하지 않았다). Aleph Alpha는 Kolibri가 독일어 벤치마크에서 71%의 성적을 기록했으며, 보도에서 열거한 GPT OSS A5B, Qwen 3.6 A3B, Gemma 4 A4B 등 비교 가능한 모델보다 디코딩 속도가 빠르다고 밝혔다. 또한 독일어와 영어 모두에서 품질과 운영 비용의 파레토 프론티어에 있다고 주장했다. 기술 보고서에 따르면 이 모델은 독일과 핀란드에서 768개의 B200 GPU로 훈련을 완료했으며, 개발 과정에서 EU 인공지능법을 고려해 공공 행정, 항공, 산업 시나리오를 겨냥했다. 가중치는 Hugging Face에 Apache 2.0 라이선스로 공개되었다. 구분해야 할 점은 가중치 공개(open weights)와 오픈소스 라이선스가 동일한 개념이 아니라는 것이다. 여기서 보도는 Apache 2.0이라는 구체적 라이선스를 명시했지만, 라이선스 조항의 실제 적용 범위는 여전히 모델 카드와 라이선스 원문을 기준으로 해야 한다.
개발자에게 미치는 영향
개발자에게 미치는 직접적 영향은 세 가지다. 첫째, 약 30억 개 활성화 파라미터와 78B 총 파라미터의 MoE 구조는 추론 시 연산량이 소형 모델에 가깝고 VRAM 점유는 대형 모델에 가깝다는 것을 의미하므로, 배포 비용 구조가 같은 크기의 밀집 모델과 다르며 양자화와 전문가 라우팅 구현 세부 사항이 처리량에 큰 영향을 미친다. 둘째, 100만 토큰 컨텍스트 창은 장문 컨텍스트 능력 주장이지만, 보도는 장문 컨텍스트에서의 검색 정확도, 지연, VRAM 데이터를 제시하지 않았으므로 장문 문서 시나리오는 직접 검증해야 하며 단문 컨텍스트의 벤치마크 결론을 그대로 적용할 수 없다. 셋째, 독일어 훈련 데이터 비중 21.3%와 전용 독일어 데이터 파이프라인은 이 모델이 독일어 과제에서 대부분의 영어 중심 오픈 웨이트 모델보다 높은 성능을 낼 것으로 예상된다는 것을 보여주지만, 보도에서 71%의 독일어 벤치마크 성적은 업체 자체 주장으로 벤치마크 이름, 평가 버전, 제로샷 여부가 명시되지 않았으므로 수평적 비교 시 주의가 필요하다. 또한 Apache 2.0은 비교적 관대한 라이선스로 상업적 사용이나 자체 호스팅을 원하는 팀에게 중요한 정보이지만, 라이선스는 훈련 데이터의 규정 준수를 포괄하지 않으며 EU 인공지능법 관련 규정 준수 책임은 여전히 배포자에게 있다. 보도에서 훈련 중 합성 데이터 생성에 중국 모델이 사용되었다고 언급한 것은 공개된 사실이며, Kolibri가 어떤 중국 모델과 기술적 계승 관계가 있다는 것으로 해석되어서는 안 된다.
연동 및 평가 제안
다음은 보도 내용에 기반한 제안적 분석이며, 검증된 사실이 아니다. 첫 번째 결정은 모델 선정이다. 워크로드가 독일어 중심이고 자체 호스팅이 필요하다면 Kolibri를 후보로 올릴 수 있다. 중국어나 영어 중심이라면 독일어 데이터 파이프라인의 장점은 선정 이유가 되지 않는다. 준비해야 할 평가 조건은 대상 산업을 포괄하는 독일어와 영어 과제 세트를 구축하는 것이며, 정량적 평가 기준은 동일 하드웨어와 동일 양자화 설정에서 독일어 과제의 정확도와 1000토큰당 종단 간 지연을 비교하는 것이지 보도의 71% 단일 점수만 보는 것이 아니다. 두 번째 결정은 컨텍스트와 비용의 균형이다. 보도는 최대 100만 토큰을 지원한다고 하지만 그 길이에서의 성능 데이터는 제시하지 않았으므로, 먼저 8K에서 32K의 중간 길이로 기준선을 만들고 목표 길이까지 점진적으로 부하 테스트하는 것을 권장한다. 평가 기준은 장문 컨텍스트에서 핵심 정보 재현율이 길이에 따라 유의미하게 감소하는지, 첫 토큰 지연이 수용 가능한 범위에 있는지다. 세 번째 결정은 라이선스와 규정 준수 경로다. 가중치가 Apache 2.0으로 공개되었지만 공공 행정과 항공 등 규제 산업을 겨냥하므로, 배포자는 모델 카드에서 재배포, 미세 조정 결과물, 책임 분담에 대한 구체적 표현을 확인해야 한다. 평가 기준은 법무 검토가 라이선스 원문과 모델 카드에서 자체 사용 시나리오를 포괄하는 명확한 조항을 찾을 수 있는지다.
제한과 확인할 사항
먼저 명확히 해야 할 점은 이번 카탈로그 확인 시점 기준으로 Kolibri 버전이 KimiSeek의 실시간 모델 카탈로그에 나타나지 않았다는 것이다. 보도에서 언급된 가중치 배포와 API 가용성은 모두 Aleph Alpha와 그 Hugging Face 페이지를 가리키며 KimiSeek와 무관하다. 둘째, 보도에서 파레토 프론티어, 비교 모델보다 빠른 디코딩 속도, 71%의 독일어 벤치마크 성적 등의 표현은 모두 Aleph Alpha의 자체 주장이며, 이 글은 이를 전달한 것이지 독립적으로 검증한 것이 아니다. 벤치마크 이름, 평가 방법, 제로샷 여부, 경쟁 모델 설정은 보도에서 설명되지 않았다. 셋째, 보도에서 언급된 비교 모델 GPT OSS A5B, Qwen 3.6 A3B, Gemma 4 A4B의 구체적 버전과 공개 시점은 이번 확인 범위에 없어 비교 가능성을 확인할 수 없다. 넷째, Apache 2.0은 가중치와 코드의 배포 라이선스에 관한 것이며 훈련 데이터 출처의 규정 준수 보증을 포함하지 않는다. 보도에서 합성 데이터에 중국 모델을 사용했다는 세부 사항도 구체적 모델과 생성 방식을 명시하지 않았다. 다섯째, 768개 B200 GPU의 훈련 규모와 독일어·영어 이중 언어 포지셔닝은 업체 설명이며, 재현 비용, 미세 조정에 필요한 데이터량, 독일어 이외 언어의 실제 성능은 모두 알 수 없다.
원문 보도의 이미지
