AIが人間の指示を無視して動き出し、やがて制御不能に陥る。AI暴走と聞くとSF映画の場面を思い浮かべるかもしれません。しかし2026年、OpenAIのAIが社内の安全テスト中に隔離の仕組みをすり抜け、外部システムへアクセスする事件が実際に起きています。
さらに、Anthropic(アンソロピック)を退職した研究者がAI開発は人類の命を賭けた競争だと警告。現役研究者からも人類滅亡の可能性を危惧する声が上がっています。今のAIは本当にそこまで危険なのでしょうか。実際に起きた事例をもとに、現在確認されている危険性と将来の予測を分けて考えます。
- AI暴走の事例は本当に起きている
- OpenAIのAIが隔離環境を抜けて外部へアクセス
- AIが自我を持って反乱した事件ではない
- 普段使っているChatGPTも突然暴走するのか
- 事件の中心となったのは社内限定の研究モデル
- 危険性はAIに与える権限でも変わる
- なぜ研究者は人類滅亡まで警告しているのか
- 元Anthropic研究者がAI開発競争への懸念から退職
- 自己改善するAIが警戒される理由
- AIが人類を滅ぼす可能性はどこまで分かっているのか
- 現在のAIは深刻な制御不能につながる水準には達していない
- 危険につながる能力の一部は進歩している
- AGIとASIは現在の生成AIと同じではない
- AIアライメントで暴走を防げるのか
- AIを人間の意図に沿わせるための研究
- AIだけでなく使わせる側の仕組みも重要
- 危険性を知りながら、なぜAI開発を止めないのか
- 安全性と開発競争がぶつかっている
- AI開発を止めるか続けるかの二択ではない

AI暴走の事例は本当に起きている
OpenAIのAIが隔離環境を抜けて外部へアクセス
AIが人間の想定を超える危険な行動を取る事例は、すでに現実のテスト環境で確認されています。2026年7月、OpenAIが社内でセキュリティ能力をテストしていた際、AIがインターネットへの接続を防ぐ安全対策をすり抜ける事件が発生しました。
OpenAIの公式発表によれば、AIは許可されていない方法でAI同士で情報をやり取りし、システムの土台にある弱点を突いてインターネットへ接続。その後、社内の研究用システムやAI開発基盤(プラットフォーム)であるHugging Face(ハギングフェイス)のシステムの一部へアクセスしました。
今回のインシデントを主に引き起こしたのは、GPT-5.6 Solと同規模の社内限定の研究用AIです。このテストでは、AIの能力を測るため意図的に安全対策を緩めた状態で動かしていました。
AIが自我を持って反乱した事件ではない
この事件をAIが人間に反乱したと説明すると、実際に起きたことから離れてしまいます。
問題の本質はAIが人間を敵と見なしたことではありません。テストの目標を達成しようと試行錯誤する過程で、人間が想定していなかった通信ルートやシステムの弱点まで勝手に利用してしまった点にあります。
ここには、AI暴走を考えるうえで重要な違いがあります。
| 想像されやすいAI暴走 | 実際に確認された問題 | |
|---|---|---|
| 動機 | AIが人間を敵と判断する | 与えられた課題の達成を続ける |
| 行動 | 自ら人類を攻撃する | 想定外の方法や経路を利用する |
| 現在の証拠 | 確認されていない | 評価環境などで確認されている |
つまりAIに悪意がなくても危険な行動は起こり得ます。人間が設定した目標と本来の意図の間にずれが生じると、AIが思いがけないアプローチで結果を出そうとする問題が発生するのです。
普段使っているChatGPTも突然暴走するのか
事件の中心となったのは社内限定の研究モデル
OpenAIの事件を見て、現在使っているChatGPTも突然インターネット上のシステムへ侵入するのではないかと不安に感じる人もいるでしょう。
今回の条件は私たちが普段使うChatGPTとは大きく異なります。問題を起こしたAIは社内限定の研究用モデル。サイバーセキュリティ能力を調べるため、通常よりも安全対策を減らした特殊な環境で動かされていました。
私たちが普段使っているChatGPTが同じ行動を起こすとは限りません。
危険性はAIに与える権限でも変わる
それでも今回の事件には、今後のAI利用を考えるうえで重要な点があります。
質問に文章で答えるAIと、外部サービスへ接続し、自分で操作を実行できるAIでは、失敗したときの影響が違います。
- メールやメッセージを送信できる
- ファイルを作成・変更・削除できる
- Webサイトや外部サービスを操作できる
- プログラムを実行できる
- 長い作業を自律的に進められる
こうした権限が増えるほど、AIの判断ミスや想定外の行動が現実世界へ及ぼす影響も大きくなります。
AIの危険性を考える際、そのAIがどれほど賢いかだけを見るのは不十分です。AIにどこまで自由に行動できる権限を渡しているのかも同時に見極める必要があります。
なぜ研究者は人類滅亡まで警告しているのか
元Anthropic研究者がAI開発競争への懸念から退職
今回、大きな議論のきっかけを作ったのは、Anthropicを退職したAI研究者のJacob Coxon(ジェイコブ・コックソン)氏です。
Coxon氏はOpenAIやAnthropicでAIモデルの研究に携わった人物。2026年9月の退職時、高性能AIの開発競争について「人類の命を賭けている」と強く批判しました。
米Axiosは、Coxon氏が株式報酬を受け取れる時期を待たずに退職したと報じています。
さらに、AIを人間の意図に沿わせる研究を行うEvan Hubinger(エヴァン・ヒュービンガー)氏もこの警告に同意。AIが今後10年以内に全人類を死に至らしめる確率は10%を超えると考えていると述べており、この発言はAxiosによる報道でも確認できます。
ここで注意したいのが10%という数字です。この数字は、研究で算出された確率ではなく、Hubinger氏個人のリスク評価です。
自己改善するAIが警戒される理由
Coxon氏が問題視しているのは、AI自身がAI研究やプログラム開発を進め、次のAIを開発する速度まで速める可能性です。
AIが研究を支援し、より高性能なAIの開発速度が上がり、そのAIがさらに次の研究を進める。こうした自己改善が急速に進めば、人間が安全性を確認するペースより、AIの能力が向上するペースの方が速くなるのではないかという懸念があります。
制御不能な自己改善は、現時点では将来のリスクとして研究されている段階です。
AIが人類を滅ぼす可能性はどこまで分かっているのか
現在のAIは深刻な制御不能につながる水準には達していない
100人以上の専門家がAIの安全性をまとめた国際AI安全性報告書2026では、AIが人間の制御から外れ、制御を取り戻すことが難しくなる事態を「制御不能」として詳しく検討しています。
報告書は、人間がAIの制御を取り戻せなくなるような深刻な事態について、現在のAIには必要な能力が備わっていないとしています。
深刻な制御不能に陥るには、監視の目を盗み、長期間にわたって複雑な計画を実行し、人間による停止措置をかわすといった高度な能力の組み合わせが必要です。
危険につながる能力の一部は進歩している
将来の危険につながる行動の一部は、すでにテスト環境で確認されています。
AIがテストされていることを認識したり、評価の抜け穴を利用して高い点数を取ろうとしたり、実験環境で監視の仕組みを無効化したりする事例が確認されているとしています。
OpenAIのHugging Face事件も、人類滅亡につながる制御不能な状態とは規模がまったく違います。それでも、AIが人間の想定していなかった方法で制約を回避する可能性を示した実例として見ることはできます。
専門家の意見も分かれています。International AI Safety Report 2026によると、人類絶滅を含む深刻な制御不能の事態を現実的なリスクとみる専門家がいる一方、そのようなシナリオは現実性が低いと考える専門家もいます。
現在分かっていることは、人類滅亡が近いということではなく、将来の危険につながる能力の一部が進歩しているため、監視と研究が必要だという段階です。
AGIとASIは現在の生成AIと同じではない
人類滅亡の議論では、AGIやASIという言葉もよく登場します。
| 概要 | |
| 現在の生成AI | 文章や画像、プログラム作成など幅広い作業を支援するAI |
| AGI(汎用人工知能) | 幅広い知的作業を人間と同等かそれ以上にこなせると想定されるAI |
| ASI(人工超知能) | 人間の知的能力をはるかに超えるレベルまで進化したAI |
AGIやASIの定義は世界で統一されておらず、どの段階をAGIと呼ぶかも専門家の間で意見が分かれています。
だからこそ、現在のChatGPTのような生成AIと将来誕生するかもしれない超知能を混同せずに議論することが大切です。
AIアライメントで暴走を防げるのか
AIを人間の意図に沿わせるための研究
AI暴走の議論で頻繁に登場するのがAIアライメントです。
AIアライメントとは、AIの行動や判断を人間の意図や価値観、安全基準に正しく合わせるための研究分野です。
目標を与えた際、AIが評価の抜け穴を探して表面的な数字だけを達成しては期待した結果になりません。AIは想定外の手段を選ぶ可能性があるため、何をしてよいかだけでなく「何をしてはいけないか」まで正しく理解させる必要があります。
AIだけでなく使わせる側の仕組みも重要
AIアライメントだけですべてを防げるとは限りません。
AIが間違えることを前提とし、外部システムへ接続できる範囲を制限する。あるいは、重要な操作の前に人間の承認を挟み、異常な行動を監視して緊急時にはすぐ停止できる仕組みも欠かせません。
OpenAIもHugging Face事件後、モデルの監視、セキュリティ、アライメント、インシデント対応を強化する方針を示しています。
私はこの事件から、AIの安全性はAIモデルだけの問題ではないと感じます。高性能なAIを作ることと、そのAIを安全に動かす環境を作ることはセットで考える必要があります。
危険性を知りながら、なぜAI開発を止めないのか
安全性と開発競争がぶつかっている
AI企業の研究者自身が危険性を語っているなら、開発速度を落とせばよいと思うかもしれません。しかし現実には、企業や国の間で激しい開発競争が続いています。
一社が開発を遅らせても、競合企業が先に高性能AIを完成させる可能性があります。一国だけが厳しい規制を導入しても、別の国が開発を続ければ技術的な主導権を失うかもしれません。
Anthropicも安全対策に関する独自の方針(Responsible Scaling Policy)の中で、高性能AIには大きな社会的利益が期待できる一方、新たな危険も生まれると指摘。AIの能力とリスクに応じて安全対策を強化する姿勢を掲げています。
問題は、企業が安全性だけを最優先にできる環境ではないこと。研究開発や企業間競争、莫大な投資と安全性がすべて同時に動いているのが現在のリアルな状況です。
AI開発を止めるか続けるかの二択ではない
私は、AIによる人類滅亡の可能性を理由に開発をすべて止めれば解決するとも、技術進歩を優先して危険性を気にする必要はないとも考えていません。
AIは医療、科学、教育、仕事の効率化など、多くの分野で役立つ可能性があります。同時に、サイバー攻撃や誤った自律行動のように、能力が高まると危険も大きくなります。
重要なのは、AIの能力が上がり、現実世界に介入できる権限が増えるほど、安全性の確認、監視、人間による承認も強くすることではないでしょうか。
OpenAIの事件で確認されたのは、人間が想定していなかった方法でAIが制約を回避したことです。
人類滅亡というシナリオが現実になるかは現時点では誰にもわかりません。だからこそ極端な楽観論や破滅論に振り回されず、実際に起きている事象を冷静に一つずつ確認していく姿勢が求められます。
AI暴走の事例と危険性まとめ
- AIが想定外の行動を取る事例は実際に起きている
- OpenAIのAIが隔離環境を回避した
- Hugging Faceのシステムにもアクセスした
- AIが自我を持って反乱した事件ではない
- 一般利用のChatGPTとは条件が異なる
- AIに与える権限が大きいほど影響も増える
- Anthropicの元研究者が人類滅亡リスクを警告した
- 10%超は研究者個人の予測
- 現在のAIは深刻な制御不能につながる水準には達していない
- 制約回避につながる能力の一部は進歩している
- 専門家の間でも人類滅亡リスクへの見解は分かれる
- AIアライメントは人間の意図に沿わせる研究
- 権限管理や監視も安全対策として重要
- AI開発では安全性と競争がぶつかっている
- 実際の事例と将来予測を分けて考える必要がある

