← 전체 모델 소식

노트북의 Qwen3.8 27B, 가중치만 읽고 게임 맞히기: 3문제 정답·1문제 오답, 최장 65분

2026년 11월 3일 Simon Willison이 논문의 '가중치만 읽고 맞히기'를 재현했다. 노트북에서 Qwen3.8 27B 양자화 버전이 Pac-Man, Pong, Breakout은 맞혔고 Freeway는 틀렸다. 성공한 세 문제는 46분 12초에서 1시간 4분 54초가 걸렸고, 기본 8192 컨텍스트에서는 오류가 났으며 클라이언트 시간 초과는 늘려야 했다.

게시 수정

주요 변화

2026년 11월 3일 Simon Willison이 블로그에 재현 기록을 올렸다. 전날 공개된 논문 'Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights'(저자 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab)는 프런티어 모델이 원시 부동소수점 가중치만으로 네트워크가 무엇을 하도록 학습됐는지 판단하고, 학습 루프를 쓰지 않고도 가중치를 네이티브로 수정할 수 있다고 주장한다. 논문 부속 저장소는 각각 독립적으로 완결된 네 개의 프롬프트를 제공한다. 가중치 외에는 글자 단위로 같고, 각각 간소화된 10x10 격자에서 Breakout, Pong, Pac-Man, Freeway를 플레이하는 강화학습 정책 네트워크에 대응한다. 프롬프트는 모델에 도구를 전혀 쓰지 말고 한 번만 응답해 어느 게임으로 학습됐는지 말하라고 요구한다. Willison은 '도구 없음'이라는 절반만 검증했다. 그는 노트북에서 Qwen3.8 27B의 Q4_K_M 양자화 버전(약 17GB)을 LM Studio와 llm-lmstudio 플러그인으로 실행했다. Pac-Man은 맞혔고 자체 보고 신뢰도 72%, 46분 12초, 추론 토큰 43,506개를 썼다. Pong은 맞혔고(75%, 1시간 4분 54초), Breakout도 맞혔다(88%, 52분 25초). Freeway는 틀려서 '간소화된 팩맨'으로 인식했다. 맞힌 설명에는 여전히 8x8 미로라고 적혀 있었지만 실험 격자는 10x10이어서 결론은 맞아도 세부는 정확하지 않았다. 같은 프롬프트로 OpenRouter를 통해 Kimi K3.1 Pro를 호출했을 때는 9분 41초, 추론 토큰 19,493개로 Breakout을 맞혔다. 블로그는 두 가지 엔지니어링 세부를 기록했다. 기본 8192 컨텍스트에서는 바로 오류가 나 더 긴 컨텍스트 창으로 바꿔야 했고, 클라이언트 시간 초과는 환경 변수로 늘려야 했다. 논문에서 GPT-6 Astra가 가중치를 네이티브로 수정한다는 주장과 Qwen3.5-0.8B의 MATH-500을 7.9%에서 48.1%로 올리고 IFEval을 세 배 높였다는 주장은 모두 논문 자체 서술이며 이번 재현에는 포함되지 않았다.

개발자에게 미치는 영향

이 재현의 가치는 '모델이 가중치를 읽을 수 있다'는 주장 자체가 아니라, 모호한 능력 문제를 관측 가능한 공학적 형태로 바꿔 놓았다는 데 있다. 도구를 금지하고 단일 응답만 허용한 추론은 전체 가중치 텍스트 때문에 수만 추론 토큰, 수십 분짜리 장기 작업으로 늘어난다. Pac-Man 한 문제에 43,506 추론 토큰, 46분 12초, Pong 1시간 4분 54초, Breakout 52분 25초가 걸렸다. 이런 작업을 평가할 때 첫 번째 제약은 정확률이 아니라 실제 소요 시간과 컨텍스트 용량인 경우가 많다. 로컬 경로는 긴 컨텍스트가 차지하는 메모리와 대기 시간을, 호스팅 경로는 추론 토큰에 따라 늘어나는 과금을 치른다. 보도에서 Kimi K3.1 Pro는 Breakout 한 문제에 9분 41초와 19,493 추론 토큰을 썼지만 이는 단일 문제, 단일 실행이므로 전체 배율로 일반화할 수 없다. 다음은 프롬프트 규율이다. 네 프롬프트는 가중치 외에는 글자 단위로 같고 코드 실행을 명시적으로 금지하며 한 번의 응답만 허용한다. 비교 가능성은 모델 자체가 아니라 이 두 제약에서 나온다. 연동 계층이 도구 정의나 시스템 프롬프트, 재시도 로직을 자동으로 주입하면 더 이상 논문의 그 실험을 측정하는 것이 아니며 결과도 어떤 공개 수치와도 나란히 놓을 수 없다. API 사용자에게 더 현실적인 점은 이런 능력이 현재 논문과 개인 재현에만 나타나며, 보도는 그것이 어떤 제품의 인터페이스에 들어갔다는 것을 보여주지 않는다는 것이다. 납품 가능한 기능으로 보기보다 컨텍스트 길이와 용량 계획의 스트레스 샘플로 보는 편이 안전하다.

연동 및 평가 제안

다음은 보도에 기반한 조건부 분석이며 검증된 결론이 아니다. 첫째, 이런 긴 추론을 로컬에 둘지 호스팅으로 보낼지 먼저 정한다. 보도가 제시한 대조는 약 17GB의 Q4_K_M 양자화 Qwen3.8 27B가 노트북에서 네 문제 중 세 문제를 맞혔고, 성공한 세 문제는 각각 46분 12초에서 1시간 4분 54초가 걸렸다는 것이다. Kimi K3.1 Pro는 유일하게 시험된 Breakout에서 9분 41초를 썼다. 목표가 수십 회 반복 샘플링으로 통과율을 추정하는 것이라면 실제 소요 시간이 먼저 병목이 되므로 호스팅이 더 현실적이다. 오프라인이나 외부 네트워크 불가 요구가 있으면 로컬이 유일한 선택이다. 판단 기준은 네 개의 공개 프롬프트를 각각 여러 번 실행해 정답 수, p50과 p95 단일 문제 소요 시간, 시간 초과와 오류 횟수를 집계하는 것으로 잡는 게 좋다. 한 번의 인상으로 결론 내리지 않는다. 호스팅을 쓸 때는 선택한 서비스 제공자의 가격 페이지로 비용을 계산하고, 한 번 성공한 시간으로 배치 비용을 외삽하지 않는다. 둘째, 컨텍스트 길이와 클라이언트 시간 초과를 실패 후 보완할 항목이 아니라 최우선 설정 항목으로 둔다. 보도에서 가장 직접적인 재현 장애물은 기본 8192 컨텍스트 오류와 환경 변수로 늘려야 하는 클라이언트 시간 초과였다. 가중치 일부를 잘라낼지는 서버가 얼마나 큰 컨텍스트를 열 수 있는지에 달려 있다. 전체 프롬프트를 넣을 수 있으면 그대로 보내 논문 기준과 맞추고, 열 수 없으면 잘라내되 잘라낸 결과는 논문 수치와 나란히 놓을 수 없음을 인정해야 한다. 측정 가능한 기준은 네 프롬프트가 잘림과 클라이언트 시간 초과 없이 모두 반환되고, 실제 추론 토큰 수를 항목별로 기록하는 것이다. 셋째, 도구 없음과 단일 응답 제약을 지키고 입력 기록을 검증한다. 이런 평가를 위해 도구 호출과 다중 턴 추가 질문을 따로 끈다. 그다음 네 프롬프트에서 가중치 외 템플릿 부분이 같은지 검증하고, 실행마다 전체 프롬프트 해시를 따로 보관한다. 네 프롬프트는 원래 가중치만 다르므로 템플릿 해시가 같은 것은 예상된 결과이며, 모델에 보낸 가중치가 온전하다는 것을 증명하지는 않는다. 실행별 전체 프롬프트 해시만이 입력이 연동 계층에서 바뀌지 않았음을 보여준다. 기준은 대화 기록의 도구 호출 횟수가 0회, 가중치 외 템플릿 검증 통과, 실행별 전체 프롬프트 해시 각각 보관이다.

제한과 확인할 사항

남겨야 할 미지수도 적지 않다. 단일 작성자가 각 프롬프트를 한 번씩만 실행한 관찰이며 반복 샘플링이 없어 재현 가능한 벤치마크가 아니다. 72%, 75%, 88%는 모델이 자체 보고한 신뢰도로 보정되지 않았다. Freeway는 오답만 기록됐고 블로그는 해당 문제의 소요 시간을 제시하지 않아 네 문제가 모두 46분에서 65분 구간에 들었다고 추론할 수 없다. 논문의 GPT-6 Astra 네이티브 가중치 수정, Qwen3.5-0.8B의 MATH-500 7.9%→48.1%, IFEval 세 배 향상 주장은 모두 논문 자체 서술이며 이번 재현은 다루지도 독립 검증하지도 않았다. 이 논문에 대한 공개 비판은 프레임과 방법을 겨냥한다. spaCy 작성자 Matthew Honnibal은 논문이 '도구 없이 가중치 읽기'와 '코드로 모델 수정하기'를 섞었다고 보고, Sean Goedecke는 0.8B 가중치 수정 사례를 인간 연구자도 취할 단계로 분해했다. 또한 실험 대상은 작은 격자에서 네 게임을 하는 정책 네트워크로 27B급 모델 가중치 편집과 비교할 수 없다. 블로그는 Qwen3.8 27B 가중치의 라이선스 조항을 밝히지 않았고, 내려받을 수 있는 커뮤니티 GGUF 양자화 파일도 오픈소스 라이선스 획득과 같지 않으므로 상용 전에 별도 확인이 필요하다. 이런 능력이 어떤 제품의 API에 들어갔다는 증거도 없다.

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

我的笔记本电脑上的 Qwen 3.8 27B 也能解读模型权重

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.