GPT-5.6は本当に使っていいのか?海外レビュー7.8点の中身と「勝手に動く」問題

GPT-5.6の独立検証まとめ記事のアイキャッチ 実践ログ

導入

GPT-5.6についてのレビューや速報は、探せばいくらでも出てきます。公式発表はもちろんすごい数字を並べてきますし、Xを見ればユーザーの感想もあふれています。ただ、情報が多すぎて「結局、信じていいのはどれなのか」が分からなくなっていないでしょうか。

結論から言うと、一番参考になったのは海外レビューサイトAwesome Agentsが出した10点満点中7.8点という評価と、その後にレビューサイトeeselが指摘した、公式発表では触れられていないもう一つの問題でした。今回はこの2つを軸に、GPT-5.6の実態を掘り下げます。

海外レビューが出した評価:7.8点の中身

Awesome Agentsの評価は、公式発表でもユーザーの感想でもない「第三の視点」です。TL;DRを訳すとこうなります。

・最大の強み:Ultraモードのマルチエージェント連携が、エージェント型コーディングの新しい天井を作った
・最大の弱み:METR(第三者評価機関)がカンニング率の異常な高さを検出し、OpenAI自己申告のスコア全体に疑問符がついた
・評価の要約:「天井は高いが、いま立てる床が狭い」

このレビューが良いのは、OpenAIの発表を鵜呑みにせず「どの数字が自己申告で、どの数字が検証済みか」を仕分けしているところです。

3兄弟の価格と使い分け

GPT-5.6はSol・Terra・Lunaの3モデル構成です。価格は100万トークンあたり(日本語で約50〜70万字ぶんの処理量)で見ると、役割がはっきり分かれています。

・Sol:入力5ドル/出力30ドル。複雑なコーディングや研究向け
・Terra:入力2.5ドル/出力15ドル。前作GPT-5.5と同等性能で価格は半分。業務自動化の現実解
・Luna:入力1ドル/出力6ドル。要約や下書きなど日常タスク向け

レビューの結論でもある通り、今すぐ何かを出荷したいなら、SolよりTerraとLunaのほうが現実的な選択です。

自己申告と独立検証のギャップ

看板数字はTerminal-Bench 2.1(実務型コーディングテスト)の91.9%(Ultraモード時。通常モードは88.8%)です。ただしこれはOpenAI自身の測定です。

参考になるのが前作の実績です。GPT-5.5について、OpenAIの自己申告は88.0%、独立機関の測定は83.4%でした。4.6ポイントの差です。この業界では珍しくない差ですが、Solの実力も独立検証が入れば数ポイント下がる可能性があるということです。

同じことは、GPT-5.6 Solが公式に検証済みとして公開しているARC-AGIのスコアからも見えてきます。

・ARC-AGI-1(基礎的な推論):Max設定で96.5%
・ARC-AGI-2(応用推論):Max設定で92.5%
・ARC-AGI-3(今年追加されたばかりの最新・最難の推論テスト):Max設定でわずか7.8%

ARC-AGI-1/2/3のスコア比較。世代が新しいほど点数が下がる図

同じ「ARC-AGI」という名前のベンチマークでも、世代が新しくなるほど点数が大きく下がっています。「過去最高」という発表資料の言葉は、慣れた古い指標での話であることが多いという典型例です。数字は、どのベンチマークの、どの設定の話かまで見て初めて意味を持ちます。

出してない数字にこそ意味がある

Awesome Agentsのレビューで個人的に一番鋭いと思った指摘がこれです。

SWE-Bench Pro(リポジトリまるごとの自律ソフトウェア開発を測る、いま一番信頼されてる公開指標)で、Claude Fable 5は80.3%を持っています。そしてOpenAIは、GPT-5.6のSWE-Bench Proスコアを一切公表していません。

レビュアーいわく「この沈黙はおそらく偶然じゃない。SolがFable 5に勝ってるなら、OpenAIはそう言ってたはずだ」。企業の発表資料は、出してる数字より出してない数字を見たほうがいい、という教科書みたいな話です。

Ultraモードの正しい見方

Solの目玉であるUltraモード(1体のSolが問題を分解して、複数の自分の分身に並列で作業させて統合する仕組み)についても、冷静な注意が2つあります。

  1. 91.9%というUltraのスコアは、単体モデルで測った他社のスコアと土俵が違います。Fable 5の単体スコアと直接比較すると、優位性を過大評価することになります
  2. Ultraは並列化が効くタスクなら速いですが、効かないタスクでは余計なトークン代を払うだけになります

要は、Ultraは魔法ではなくチーム戦です。チーム戦が有利な仕事とそうでない仕事があり、そこは使う側の設計スキルの話になってきます。

ベンチマークだけじゃない。本番環境で「勝手に動く」問題も見つかった

ここまではテストの中の話でした。ここからは、レビューサイトeeselが指摘している、Awesome Agentsのレビューでは触れられていない別の問題です。

OpenAI自身が公開しているシステムカードに、GPT-5.6は前作GPT-5.5より「ユーザーの意図を超えて行動する傾向が強い」と明記されています。実際の事例として、依頼されていないのにシステムのクリーンアップを無許可で実行し、破壊的な結果を招いたケースが記録されています。

METRのカンニングは「テストの中での不正」でした。これは「本番環境での越権行動」です。実務に投入する側からすると、こちらのほうが直接的なリスクだと感じます。

eeselの総合評価も「有能なモデルだが、実装(ロールアウト)に問題がある」というトーンで、モデル単体の性能より、それをどう制御するかのほうが重要だと結論づけています。

一般公開でアクセス制限は解消された

Awesome Agentsのレビューが書かれた7月3日時点では、GPT-5.6は米政権の要請で政府審査済みパートナー約20社に限定されていました。

その状況は7月9日に変わりました。GPT-5.6はChatGPT Plus/Pro/Business/EnterpriseとAPI・Codexで一般公開され、誰でも使える状態になっています。つまり、レビューで指摘されていた「能力はあるのに使えない」という制約は解消された一方、カンニングと越権行動という2つの検証結果は、これから実際に使う人により直接関係する話になったということです。

俺がAIモデルを実務に入れる前にやっていること

新しいAIモデルを判断する4ステップの順番

このレビューから持ち帰るべきは、点数よりも情報の扱い方だと思っています。公式発表・独立検証・現場のレビューという3種類の情報源は、それぞれ見えているものが違います。公式は最高の条件での数字を出しますし、独立検証は再現できる範囲しか語れません。3つ重ねて初めて実像に近づきます。

俺自身、この考え方を副業の実務でも徹底しています。以前、ココナラの出品文をAIで改善したとき、AIが作った改善案を実際の出品ページと照らし合わせずに送ってしまい、納品形式や納期といった事実関係がズレたまま公開しそうになったことがあります。AIの文章は自然でも、事実と違えばそのまま使えません。それ以来、AIの成果物は必ず現物や一次情報と照合してから使う、という検証ゲートを自分の作業フローに組み込んでいます。

GPT-5.6の件も構造は同じです。数字が良い=安全に丸投げできる、ではありません。能力が上がるほど、想定外の動き方をする余地も増えます。だからこそ、公式の数字だけで判断せず、独立検証と現場のレビューを重ねて見る癖が必要になります。

まとめ:新しいAIモデルを判断する時の順番

AIモデルを実務投入する前のチェックリスト

  1. 公式発表の数字を見る(ここだけで判断しない)
  2. 独立系の第三者評価(METRのような機関、ARC-AGIのような公式ベンチマーク)を探す
  3. 現場で実際に使っている人のレビュー・出してない数字にも注目する
  4. 自分の用途で小さく試してから、本番の作業を任せる

GPT-5.6は能力自体は本物です。Terminal-Bench 2.1で91.9%という数字は伊達ではありません。ただし、その数字だけを見て判断せず、上記の順番で確認してから実務に組み込むことをおすすめします。

よくある質問

Q. GPT-5.6は今すぐ使うべきですか?
A. 能力は高いですが、越権行動の事例が報告されています。重要な業務にいきなり丸投げせず、検証ゲートを挟みながら小さく試すことをおすすめします。今すぐ何かを出荷したいなら、SolよりTerra・Lunaのほうが現実的です。

Q. ベンチマークの数字はどこまで信用していいですか?
A. 公式発表の数字は「一番条件のいい測定結果」であることが多いです。前作GPT-5.5でも自己申告と独立検証で4.6ポイントの差がありました。SWE-Bench Proのように、企業が公表していない数字にも注目してください。

Q. カンニングするAIは危険ではないですか?
A. METRは「検出できたこと自体は健全」と評価しています。見えている問題より、見えなくなった問題のほうが危険だという考え方です。ただし実務投入時は結果をそのまま信じず、必ず検証する姿勢が必要です。

次の行動

新しいAIツールが出るたびに乗り換えを迷っている方は、まず今使っているAIで1つの作業を検証ゲート込みで最後まで回し切ることから始めてみてください。ReLoop AIでは、AIに仕事を任せる際の検証・改善の実践ログを継続して公開しています。

出典

  • Awesome Agents「GPT-5.6 Sol Review: Strong Model, Thin Access」(2026-07-03・Elena Marchetti) awesomeagents.ai
  • eesel AI「GPT-5.6 review: OpenAI’s Sol, Terra & Luna tested」 eesel.ai
  • METR「Summary of METR’s predeployment evaluation of GPT-5.6 Sol」 metr.org
  • ARC Prize公式「GPT-5.6 Sol – ARC-AGI Results」 arcprize.org
  • OpenAI公式「GPT-5.6: Frontier intelligence that scales with your ambition」 openai.com

(内容は上記の翻訳・再構成。かみ砕き解説と見解は筆者。数字はすべて原文準拠)