BriLLM-MetaPred: AGI 수학 이론에서 도출한 언어 모델, 13.2M 파라미터로 동급 GPT와 대등
상하이자오퉁대 자오하이 팀이 arXiv에 올린 BriLLM-MetaPred는 MetaPred 원시 연산의 첫 실행 가능한 언어 모델링 사례로, 약 13.2M 파라미터에서 동급 GPT 베이스라인과 비슷한 성능을 냈고 최대 1.5B까지 검증했다고 주장한다. 가중치와 라이선스는 밝히지 않았고 API도 없다.
주요 변화
머신하트 관련 보도에 따르면 상하이자오퉁대 범용인공지능연구소 자오하이 팀이 논문 BriLLM-MetaPred를 arXiv에 올렸다. 논문은 이것이 자체 AGI 수학 이론에서 도출한 머신러닝 원시 연산 MetaPred를 언어 모델링에 적용한 첫 실행 가능한 사례라고 밝힌다. 보도 설명에 따르면 MetaPred는 표현과 예측의 분업을 없앤다. 하나의 지속적으로 진화하는 동역학 상태가 문맥이 쓰인 뒤의 표현을 담는 동시에 다음 토큰을 직접 읽어낸다. 함께 쓰이는 지속적 자기 측정은 고정점을 내생적 자기지도 신호로 삼는다. 엔지니어링 구현은 BriLLM-MetaPred가 이 원시 연산을 BriLLM의 SiFu 노드-신호 흐름 운반체에 연결하는 다리 역할을 해 노드-상태 언어 모델을 이룬다고 한다. 토큰 투영이 고정 인터페이스 행에 쓰이고, 순환 연산자가 전체 텐서를 진화시키며, 지정된 출력 행과 보조 풀에서 분포를 읽는다. 보도가 제시한 핵심 실증은 약 13.2M 파라미터에서 예측 성능이 동급 GPT 베이스라인과 비슷하다는 것으로, 논문은 이를 엔지니어링 실현 가능성의 초기 증거로 규정한다. GPT-1의 약 열 배 규모가 있어야 겨우 비교 가능했던 전작 BriLLM과 비교해 이번에는 약 십분의 일 규모로 같은 효과를 냈다고 주장하며, 최대 검증 크기는 GPT-2와 같은 수준인 1.5B에 이른다.
개발자에게 미치는 영향
개발자에게 이 뉴스의 가치는 사용 가능한 인터페이스가 아니라 패러다임 가정을 검증할 수 있는지에 있다. 주류 Transformer 배포 경로는 어텐션, KV 캐시, 고정된 층 수의 순전파를 중심으로 구축된다. 표현과 예측이 하나의 순환 진화 텐서에 합쳐진다면 추론은 ‘순전파 한 번 더하기 KV 캐시’가 아니라 어떤 일관성이나 스텝 상한까지 반복하는 것이 되며, 지연 시간, 메모리, 배치 처리 전략이 모두 달라진다. 보도에 나온 지속 실행 학습 메커니즘은 시퀀스 구간 사이에 노드 상태와 빠른 파라미터를 유지해 ‘학습과 추론이 분리되지 않는’ 아키텍처 기반을 가리킨다. 이것이 성립한다면 긴 문맥이나 스트리밍 시나리오의 비용 모델이 바뀔 수 있다. 다만 이는 논문과 보도의 구조적 설명일 뿐 제3자 재현이나 처리량, 지연 시간 데이터는 없다. 다른 한편은 비교 가능성이다. 13.2M 파라미터에서 동급 GPT 베이스라인과 비슷하다는 것은 이 원시 연산이 소규모에서 작동을 멈추지 않는다는 것만 보여줄 뿐, 1.5B 이상 규모에서도 같은 비율의 효율을 유지한다는 뜻은 아니다. 보도도 구체적 벤치마크 이름, 데이터셋, 평가 기준을 제시하지 않아 독자가 이를 근거로 가로 비교할 수 없다.
연동 및 평가 제안
첫째, 재현에 투자할 가치가 있는지 먼저 판단하라. 순환 구조나 상태 공간류 모델의 긴 시퀀스 추론을 다룬다면 BriLLM-MetaPred를 대조 실험 대상으로 삼을 수 있다. 전제는 논문과 저자 코드를 확보하고 ‘같은 토크나이저, 같은 학습 토큰 수에서 동일 파라미터 GPT 베이스라인과의 검증 혼란도 차이’를 측정 가능한 지표로 삼는 것이다. 차이가 줄지 않으면 더 나아갈 필요가 없다. 둘째, 지속 실행 학습에 관심이 있다면 ‘구간별 상태 유지’와 ‘전체 시퀀스 1회 순전파’를 고정 메모리에서 처리 가능한 최대 길이와 토큰당 지연 시간으로 나누어 평가하라. 워크로드가 긴 문서 스트리밍 처리이고 상태 유지 이득이 반복 스텝 증가 비용을 넘을 때만 이 경로가 매력적이다. 평가 기준은 같은 하드웨어에서 1000토큰당 실제 소요 시간과 메모리 피크를 쓸 수 있다. 셋째, 1.5B 크기는 관망하라. 논문이 이 규모와 동급 GPT-2 수준 베이스라인의 대조 결과 및 평가 세트 이름을 제시하는지 먼저 확인하라. 13.2M 대조만 있다면 이를 원시 연산의 실현 가능성 증거로 봐야 하며 기존 모델을 대체할 후보로 보면 안 된다. 이상은 모두 보도에 기반한 조건부 분석이며 검증된 성능 결론이 아니다.
제한과 확인할 사항
이 버전은 현재 KimiSeek 실시간 모델 카탈로그에 없고 보도도 어떤 벤더 API도 언급하지 않으므로 ‘특정 플랫폼에 이미 출시됐다’는 사용 가능한 인터페이스는 없다. 보도는 가중치 공개 여부와 어떤 라이선스로 배포되는지 밝히지 않았다. 가중치 확보 가능성은 라이선스 허여와 같지 않으며 둘을 따로 확인해야 한다. 벤치마크 이름, 데이터셋, 학습 토큰 수, 평가 스크립트 모두 보도에서 다뤄지지 않아 ‘동급 GPT 베이스라인과 비슷하다’는 데 검증 가능한 기준이 없다. 1.5B가 최대 검증 크기라는 주장에는 해당 크기의 대조 수치가 붙지 않았다. 자유 에너지 원리, 예측 부호화와의 동형성 주장은 저자 논증이며 독립 검증이 아니다. 13.2M 규모 결과는 운영 부하로 외삽할 수 없다.