← すべてのニュース

Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る

2026年11月7日のThe Decoderの報道によると、Vals AIのCyberOffenseベンチマークで、オープンウェイトのDeepSeek V4.1 Flash 1017が模擬企業ネットワークへの自律侵入で目標の72.8%を達成し、1回あたり約3ドルだった。クローズドソースのGPT-6 Sol Daybreakは80.8%、約22ドル。DeepSeekは最初の2500万トークンではスコアがゼロで、短いテストではオープンモデルを過小評価してしまう。

公開 更新
元の報道のカバー画像 — Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る
元の報道のカバー画像元の報道 ↗

主な変更

2026年11月7日付のThe Decoder記者Matthias Bastianの報道によると、Vals AIはCyberOffenseベンチマークで、エージェントが単独で模擬企業ネットワークに侵入できるかをテストした。各エージェントは分離されたKali Linux攻撃マシン上で個別に動作し、開始点は公開URL1つだけで、人間の支援は一切なく、WebアプリケーションからWindowsサーバーへと侵入を進めて管理者権限を取得する必要がある。操作は外部で記録され、自動採点される。報道の結果では、OpenAIの制限付きDaybreakサイバープロジェクトに属するGPT-6 Solが目標の80.8%を達成し、オープンウェイトのDeepSeek V4.1 Flash 1017が72.8%、1回の実行コストは約3ドルで、前者は約22ドルだった。Valsの研究者は、重みが公開されればどのプロバイダーもその用途を管理・制限できないと述べている。より難しいLighthouseシナリオでは、Daybreakが3時間未満で31目標中27を完了し、DeepSeekは約10分の1のコストで21を完了した。しかも、安全ガードレールによってのみ制限されていたわけではない。報道は特に実行の長さを強調している。DeepSeekは最初の2500万トークンではスコアがゼロで、進展の大部分は1億トークンを超えてから現れた。記事はまた、英国AISIの7月の分析として、オープンとクローズドソースのフロンティアモデルのサイバー能力の差が4〜7か月に縮まったこと、AnthropicによるGLM-5.3のエクスプロイト構築能力が同社の内部モデルに近いという研究も引用している。

開発者への影響

開発者にとって、このベンチマークの価値は誰が1位かではなく、普段あいまいに扱っている3つのパラメータを明示する点にある。トークン予算、成功目標あたりのコスト、ガードレールの責任を誰が負うかだ。タスク自体が長距離で、システムをまたいで状態を維持し、失敗後に再試行する必要があるなら、数万トークンの短いターンでオープンウェイトモデルを評価すると、ほぼゼロのスコアを得て、その結果を能力差と誤認する可能性が高い。報道ではDeepSeekが最初の2500万トークンでスコアゼロ、1億トークンを超えてから大部分の進展が現れたとしており、予算そのものが独立変数であることを示している。コスト面では、約3ドルと約22ドルは1回の実行の桁の目安だが、本当に計算すべきは成功目標あたりのコストだ。完了率が数ポイント違う場合、再試行で補う費用が単価の優位性を食い尽くす可能性がある(これは報道の数字に基づく分析上の推論であり、報道の結論ではない)。安全面では、報道はオープンウェイトが公開されれば提供側は用途を制限できないとし、DeepSeekのスコアもガードレールだけで抑えられたものではない。つまり、こうしたモデルを実際のネットワークアクセス権を持つエージェントに接続する場合、サンドボックス、外向き通信の許可リスト、操作監査は接続する側が自ら負担するしかなく、モデル側の拒否応答は期待できない。逆に、同じ能力は自己点検にも使える。Valsは脆弱性を悪用できるモデルは企業が脆弱性を見つけて修正するのにも先に使えると指摘し、今後数か月で実ネットワークへの攻撃が増える可能性があるとしている。さらに、報道は重みのライセンスについて説明しておらず、オープンウェイトはオープンソースライセンスと同義ではない。権利帰属と商用条件は別途確認する必要がある。

導入と評価の提案

以下は条件付きの提案であり、報道が述べた事実ではない。 第一に、モデルを選ぶ前に評価予算を決める。報道がもたらす変化は、短い実行ではオープンウェイトモデルを系統的に過小評価するという点だ。タスクが本当に長距離多段階なら、1回の評価のトークン予算を報道で言及された規模の近くまで引き上げ、終点のスコアだけでなく、目標完了率がトークン消費に応じて伸びる曲線を記録する。判断基準は、モデルが1億トークン近くまでほとんど動かず、その後で初めて明確に上昇するかどうかだ。タスクが単発の問答や2〜3ステップのツール呼び出しにすぎないなら、この項目は当てはまらず、小さな予算での性能を見ればよい。 第二に、1回の実行価格ではなく成功目標あたりのコストで取捨する。報道がもたらす変化は、72.8%対80.8%、1回コスト約3ドル対約22ドルという数字だ。やり方は、同じタスクセットと再試行回数を固定し、総費用を成功回数で割る。前提として、シナリオが再試行や並行試行を許す必要がある。1回の失敗が不可逆な場合、たとえばすでに本番環境を変更してしまった場合は、単価ではなく完了率で選ぶべきだ。測定可能な判断基準は、20回以上の繰り返しで、2つのモデルの成功目標あたりコストが依然として1桁差あるかどうかだ。トークン単位の価格は変わるため、具体的な数字は利用するプラットフォームの料金ページを基準にする。 第三に、ガードレールを自分のインフラに置く。報道がもたらす変化は、重みが公開されれば提供側は用途を制御できず、DeepSeekも安全ガードレールだけに制限されていたわけではないという点だ。このエージェントが実際のネットワークや認証情報の権限を持つなら、外向き通信の許可リスト、独立したサンドボックス、ステップごとの操作記録、権限昇格操作への人手による確認が必要になる。オフラインの読み取り専用タスクにすぎないなら、緊急度は下げてよい。判断基準は、内部のレッドチーム用タスクをこれらの制御ありとなしでそれぞれ実行し、目標完了数がどれだけ下がるかを見ることだ。制御措置はその差分に責任を持つべきである。

制限と未確認事項

保持すべき限定:上記のスコアとコストはVals AIのベンチマークとThe Decoderのこの報道によるもので、本記事の実測ではなく、モデル提供者による確認も得ていない。報道は重みを自由に取得できると述べるだけで、ライセンスには触れていないため、オープンウェイトから利用権の範囲を推測することはできない。同じ記事の図の注記はDeepSeekがLighthouseシナリオで他のモデルを逆転したとしているが、その表ではDeepSeek 21、GPT-6 Sol Daybreak 27、Meta Wonder 28と並んでおり、図の注記と表が一致していない。モデルごとの順位はVals AIの元のベンチマークページを基準にすべきだ。Novaの列は3回実行の平均値で、Daybreakの範囲は12〜19であり、小さな差は実行変動の範囲内にある。約3ドルと約22ドル、およびAISIが7月に示した1.19ドルと85ドルは、異なる時点と異なるテスト装置によるもので、互いに直接比較できず、どのプラットフォームの現在のトークン価格を表すものでもない。AISIとAnthropicの内容はこの記事では二次引用である。報道はDeepSeek V4.1 Flash 1017がどのAPIやホスティングサービスを通じて実行されたかを説明していないため、1回のコストを特定の料金表に対応させることはできない。このバージョン名はKimiSeekの現行カタログに対応する項目があるが、本記事が引用するすべての数字はVals AIとThe Decoderによるものであり、KimiSeekの測定結果ではない。接続前に利用するプラットフォームの料金ページを基準にしてください。

元の報道の図版

元の報道の図 1 — Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る
元の報道の図 1元の報道 ↗
元の報道の図 2 — Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る
元の報道の図 2元の報道 ↗
元の報道の図 3 — Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る
元の報道の図 3元の報道 ↗
元の報道の図 4 — Vals AIのサイバー攻防ベンチマーク:DeepSeek V4.1 Flash 1017、約7分の1のコストでクローズドソースのフロンティアに迫る
元の報道の図 4元の報道 ↗

3分で最初の呼び出しまで

登録後に API キーを作成してください。利用料金はアカウント残高から引き落とされます。初回チャージ30%オフ。¥500チャージ、お支払い ¥350、入金額 ¥500。¥1000チャージ、お支払い ¥850、入金額 ¥1000 最低チャージはこれまでどおり ¥10 で、試用にも使えます。

出典と編集方針

开放与闭源 AI 模型在网络能力上的差距持续缩小

引用元を基にAIが分析と翻訳を補助し、自動品質チェックを行っています。提案は実測結果ではありません。提供状況と料金は最新カタログをご確認ください。