← 전체 모델 소식

Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접

The Decoder가 2026년 11월 7일 보도한 내용에 따르면, Vals AI의 CyberOffense 벤치마크에서 오픈 웨이트 모델 DeepSeek V4.1 Flash 1017이 모의 기업 네트워크를 자율적으로 침투해 목표의 72.8%를 완료했고 1회 실행 비용은 약 3달러였다. 폐쇄형 GPT-6 Sol Daybreak은 80.8%, 약 22달러였다. DeepSeek은 처음 2,500만 토큰까지 점수가 0이었으며, 짧은 테스트는 오픈 모델을 과소평가할 수 있다.

게시 수정
원문 보도의 표지 이미지 — Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접
원문 보도의 표지 이미지원문 보도 ↗

주요 변화

The Decoder 기자 Matthias Bastian의 2026년 11월 7일 보도에 따르면, Vals AI는 CyberOffense 벤치마크로 에이전트가 스스로 모의 기업 네트워크에 침입할 수 있는지 시험했다. 각 에이전트는 격리된 Kali Linux 공격 머신에서 단독으로 실행되며, 출발점은 공개 URL 하나뿐이고 전 과정에 인간의 도움이 없다. 웹 애플리케이션을 뚫고 Windows 서버까지 침투해 관리자 권한을 확보해야 하며, 모든 조작은 외부에서 기록되고 자동 채점된다. 보도된 결과는 OpenAI의 제한적 Daybreak 사이버 프로그램에 속한 GPT-6 Sol이 목표의 80.8%를 완료했고, 오픈 웨이트인 DeepSeek V4.1 Flash 1017은 72.8%를 완료했으며 1회 실행 비용은 약 3달러로 전자는 약 22달러였다. Vals 연구진은 가중치가 공개되면 어떤 제공자도 그 용도를 통제하거나 제한할 수 없다고 말했다. 더 어려운 Lighthouse 시나리오에서 Daybreak은 3시간이 채 지나기 전에 31개 목표 중 27개를 완료했고, DeepSeek은 약 10분의 1 비용으로 21개를 완료했으며 단지 안전 가드레일 때문에 제한된 것만은 아니었다. 보도는 특히 실행 길이를 강조한다. DeepSeek은 처음 2,500만 토큰까지 점수가 0이었고, 대부분의 진전은 1억 토큰을 넘긴 뒤에 나타났다. 기사는 또한 영국 AISI가 7월에 발표한 분석에서 오픈 모델과 폐쇄형 프런티어 모델의 사이버 능력 격차가 4~7개월로 좁혀졌다고 밝힌 점, 그리고 Anthropic이 GLM-5.3의 취약점 익스플로잇 구성 능력이 자사 내부 모델에 근접한다고 한 연구도 인용했다.

개발자에게 미치는 영향

개발자에게 이 벤치마크의 가치는 누가 1위인지가 아니라, 평소 모호하게 다루던 세 가지 파라미터를 드러낸다는 데 있다. 토큰 예산, 성공 목표당 비용, 가드레일을 누가 책임지는가다. 작업 자체가 장기간에 걸쳐 시스템 간 상태를 유지하고 실패 후 재시도해야 하는 성격이라면, 수만 토큰 규모의 짧은 회차로 오픈 웨이트 모델을 평가할 경우 거의 0에 가까운 점수를 받고 그것을 능력 격차로 오해할 가능성이 크다. 보도에서 DeepSeek이 처음 2,500만 토큰까지 0점이었고 1억 토큰을 넘겨서야 대부분의 진전이 나타났다는 점은 예산 자체가 독립 변수임을 보여준다. 비용에서는 약 3달러와 약 22달러가 1회 실행의 규모이지만, 실제로 계산해야 할 것은 성공 목표당 비용이다. 완료율이 몇 퍼센트포인트 차이 날 때 재시도로 메우는 비용이 단가 우위를 잠식할 수 있다(이는 보도된 숫자에 근거한 분석적 추론이지 보도의 결론은 아니다). 안전 측면에서 보도는 오픈 웨이트가 공개되면 제공자가 용도를 제한할 수 없고, DeepSeek의 점수도 단지 가드레일 때문에 낮아진 것만은 아니라고 한다. 이는 이런 모델을 실제 네트워크 접근 권한을 가진 에이전트에 연결할 때 샌드박스, 외부 통신 허용 목록, 행위 감사(audit)를 접속하는 쪽이 직접 떠안아야 하며 모델의 거부 응답을 기대할 수 없다는 뜻이다. 반대로 같은 능력은 자체 점검에도 쓸 수 있다. Vals는 취약점을 익스플로잇할 수 있는 모델이 기업이 취약점을 먼저 찾아 고치도록 도울 수도 있다고 지적하며, 앞으로 몇 달간 실제 네트워크에 대한 공격이 늘어날 수 있다고 말했다. 또한 보도는 가중치의 라이선스를 밝히지 않았다. 오픈 웨이트는 오픈소스 라이선스와 같지 않으며, 권리 귀속과 상업적 이용 조건은 별도로 확인해야 한다.

연동 및 평가 제안

다음은 조건부 권고이며, 보도가 진술한 사실이 아니다. 첫째, 모델을 고르기 전에 평가 예산을 먼저 정하라. 보도가 가져온 변화는 짧은 실행이 오픈 웨이트 모델을 체계적으로 과소평가한다는 점이다. 작업이 실제로 장기 다단계라면 1회 평가의 토큰 예산을 보도에서 언급된 규모 근처까지 올리고, 종점 점수만 보지 말고 목표 완료율이 토큰 소모에 따라 증가하는 곡선을 기록하라. 판단 기준은 모델이 1억 토큰에 가까워지기 전까지 거의 움직이지 않다가 그 후에야 뚜렷이 상승하는지다. 작업이 단일 턴 질의응답이거나 두세 단계 도구 호출뿐이라면 이 항목은 해당하지 않으며, 작은 예산에서의 성능을 보면 된다. 둘째, 1회 실행 가격이 아니라 성공 목표당 비용으로 선택하라. 보도가 가져온 변화는 72.8% 대 80.8%, 1회 비용 약 3달러 대 약 22달러다. 방법은 동일한 작업 세트와 재시도 횟수를 고정하고 총비용을 성공 횟수로 나누는 것이다. 전제는 시나리오가 재시도나 병렬 시도를 허용한다는 것이다. 한 번의 실패가 되돌릴 수 없는 경우, 예컨대 이미 운영 환경을 변경한 경우라면 단가가 아니라 완료율로 선택해야 한다. 측정 가능한 판단 기준은 20회 이상 반복에서 두 모델의 성공 목표당 비용이 여전히 한 자릿수 배 차이를 보이는지다. 토큰 기준 가격은 변하며, 구체적 숫자는 사용하는 플랫폼의 가격 페이지를 기준으로 해야 한다. 셋째, 가드레일을 자사 인프라에 두라. 보도가 가져온 변화는 가중치가 공개되면 제공자가 용도를 통제할 수 없고, DeepSeek도 안전 가드레일 때문에만 제한된 것이 아니라는 점이다. 이 에이전트에 실제 네트워크나 자격 증명 권한이 있다면 외부 통신 허용 목록, 독립 샌드박스, 단계별 행위 기록, 그리고 권한 상승 조작에 대한 인간 확인이 필요하다. 오프라인 읽기 전용 작업이라면 긴급성은 낮춰도 된다. 판단 기준은 내부 레드팀 작업 세트를 이런 통제를 넣은 경우와 넣지 않은 경우에 각각 실행해 목표 완료 수가 얼마나 줄어드는지 보고, 통제 조치가 그 차이를 책임지는지 확인하는 것이다.

제한과 확인할 사항

유지해야 할 한계: 위 점수와 비용은 Vals AI의 벤치마크와 The Decoder의 이 보도에서 나온 것이지 본문의 실측이 아니며, 모델 제공자의 확인도 받지 않았다. 보도는 가중치를 자유롭게 얻을 수 있다고만 했을 뿐 라이선스를 밝히지 않았으므로, 오픈 웨이트라는 사실에서 사용 권한 범위를 추론할 수 없다. 같은 기사의 그림 설명은 DeepSeek이 Lighthouse 시나리오에서 다른 모델을 앞섰다고 하지만, 표에는 DeepSeek 21, GPT-6 Sol Daybreak 27, Meta Wonder 28로 적혀 있어 그림 설명과 표가 맞지 않는다. 모델별 순위는 Vals AI 원본 벤치마크 페이지를 기준으로 해야 한다. Nova 열은 3회 실행의 평균이며, Daybreak의 범위는 12에서 19로 작은 점수 차이는 실행 변동 범위 안에 있다. 약 3달러와 약 22달러, 그리고 AISI가 7월에 제시한 1.19달러와 85달러는 서로 다른 시점과 다른 테스트 장치에서 나온 값이라 직접 비교할 수 없고, 어떤 플랫폼의 현재 토큰 가격을 뜻하지도 않는다. AISI와 Anthropic 관련 내용은 이 기사에서는 2차 인용이다. 보도는 DeepSeek V4.1 Flash 1017이 어느 API나 호스팅 서비스로 실행됐는지 밝히지 않았으므로 1회 비용을 특정 가격표에 대응시킬 수 없다. 이 버전명은 KimiSeek 현행 카탈로그에 대응 항목이 있지만, 본문에 인용된 모든 수치는 Vals AI와 The Decoder에서 온 것이지 KimiSeek의 측정 결과가 아니므로, 연동 전에는 사용하는 플랫폼의 가격 페이지를 기준으로 해야 한다.

원문 보도의 이미지

원문 삽화 1 — Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접
원문 삽화 1원문 보도 ↗
원문 삽화 2 — Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접
원문 삽화 2원문 보도 ↗
원문 삽화 3 — Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접
원문 삽화 3원문 보도 ↗
원문 삽화 4 — Vals AI 사이버 공방 벤치마크: DeepSeek V4.1 Flash 1017, 약 7분의 1 비용으로 폐쇄형 프런티어에 근접
원문 삽화 4원문 보도 ↗

3분이면 첫 호출까지

가입 후 API 키를 만드세요. 호출 비용은 계정 잔액에서 차감됩니다. 첫 충전 30% 할인. ¥500 충전, 결제 ¥350, 잔액 ¥500 적립. ¥1000 충전, 결제 ¥850, 잔액 ¥1000 적립 최소 충전 금액은 그대로 ¥10이며, 시험용으로 사용할 수 있습니다.

출처와 편집 과정

开放与闭源 AI 模型在网络能力上的差距持续缩小

인용한 출처를 바탕으로 AI가 분석과 번역을 돕고 자동 품질 검사를 수행합니다. 제안은 실측 결과가 아닙니다. 제공 여부와 가격은 현재 카탈로그를 확인하세요.