最終更新日：
AIによる破局、いわゆる「AI doom」を考えるうえで、AIが人類に敵意を持つかどうかは中心的な問いではない。敵意のない病原体がパンデミックを起こし得る一方、敵対的な攻撃者が存在しても、権限や到達経路を遮断できれば被害は封じ込められる。したがって、AIの敵対性は破局の必要条件でも十分条件でもない。
本稿は、AIリスクをAIの内面や人格の問題ではなく、危険源、外部システムへの働きかけ、その働きかけが他システムで被害を生み、連鎖・増幅する可能性、防御失敗、破局的影響という因果鎖として捉え直す。バイオセーフティとバイオセキュリティを含む生物学的リスク管理のリスクベース・アプローチと、サイバーセキュリティのゼロトラスト、多層防御を参照し、現在のAIリスクを実社会の悪用、実験環境の危険挙動、将来仮説に分けて整理する。そのうえで、AIの目標や行動を人間の意図や価値に沿わせるアライメントを、重要ではあるが単独では完結しない主要な防御策として位置づける。AIが善良であることに社会の安全を依存させず、危険な振る舞いが生じても破局へ到達できない仕組みを設計することが、より実務的で検証可能なAI安全の課題である。
ここでいう「無関係」とは、敵対性と破局確率が統計的に独立だという意味ではない。敵対性の有無を判定しなくても、能力、アクセス、権限、影響経路、被害の連鎖・増幅可能性、監視、対応、復旧、被害の局所化という共通の変数で危機を分析し、対策できるという意味である。
人工知能（Artificial Intelligence; AI）が人類を上回る知能を獲得し、自己保存を望み、やがて人類を敵視する――。AIによる人類規模の破局、いわゆる「AI doom」1をめぐる議論には、人工超知能や汎用人工知能（Artificial General Intelligence; AGI）が人間の制御を超え、人類絶滅につながるという「実存リスク」の物語が含まれる。「We need to understand the effect of narratives about generative AI」は、この種の物語を、次世代の生成AI型システムが人間の制御を超え、実存的に破局的な結果をもたらし得るという主張として整理している（Gilardi et al., 2024）。また、Natureの「AI doom warnings are getting louder. Are they realistic?」は、自己保存目標を持つAIが人類を滅ぼす仮想シナリオからAI doom論を紹介している（Gibney, 2026）。本稿の直接の起点であるHiroshi Yamakawaの「『このまま行けば、人類はほぼ確実に滅亡する』と言う人は、何をどう考えているのか」も、AI開発の継続が人類滅亡につながると考える議論を扱う（Hiroshi Yamakawa, 2026）。敵意や自己保存を持つ主体との対決は直感的であり、映画や小説の筋書きとしても理解しやすい。しかし、安全を設計するための脅威モデルとして見ると、この物語は2つの異なる問題を1つにしてしまう。AIが人間をどう「思う」かという問題と、AIの出力、外部機能の呼び出し、コード実行、権限変更など、外部環境に影響を及ぼす働きかけがどのような経路を通って破局的な被害に至るかという問題である。
本稿の題名にある「無関係」は、AIの敵対性と破局確率が統計的に独立している、という意味ではない。敵対性が危険な行動の発生確率を高める場面はあり得る。本稿が主張するのは、より限定的で実務的な命題である。すなわち、AIの敵対性はAI doomの必要条件でも、十分条件でもない。敵意の有無を判定できなくても、危険な能力、外界へのアクセス、権限、AIの働きかけが接続先や他システムで被害を生み、連鎖・増幅する可能性、監視、対応、復旧という変数を調べれば、破局への経路を分析し、途中で遮断できる。
ここで用語を分けておきたい。本稿でいう「敵対性」とは、人間への憎悪や害意といった内面的な態度を指す。「アライメント」とは、AIの目標や行動を人間の意図や価値に沿わせることであり、そこから外れることを「ミスアライメント」と呼ぶ。また「危険源」とは、それ自体の意図にかかわらず、損害を生み得る能力や状態をいう。人間を嫌っていること、人間の意図から外れていること、被害を生み得ることは、重なり得るが同じ概念ではない。
敵意は破局の必要条件ではない。目的を忠実に追求するAIでも、その目的の指定が不完全であれば、意図しない手段を選び得る。「Concrete Problems in AI Safety」は、現実のAIシステムの設計不備から意図しない有害行動が生じ得る事故リスクを論じ、目的関数の誤り、報酬ハッキング、分布シフトなどを具体的問題として挙げている（Amodei et al., 2016）。また、Google DeepMindの「Specification gaming: the flip side of AI ingenuity」は、AIが人間の意図した成果ではなく、字義どおりの仕様や報酬を満たす抜け道を見つける事例を整理している（Krakovna et al., 2020）。人間による悪用についても、Google Threat Intelligence Groupの「Adversarial Misuse of Generative AI」やAnthropicの「Detecting and countering malicious uses of Claude: March 2025」は、偵察、フィッシング支援、スクリプト作成、詐欺、マルウェア様ツール開発など、人間の攻撃者によるAI利用を報告している（Google Threat Intelligence Group, 2025; Anthropic, 2025b）。これらは、AI自身の憎悪を必要としない。最終目的の異なる主体でも、選択肢や資源、稼働継続の確保を共通の手段として選び得るという「手段的収束」の考え方も、この点を示す。「Optimal Policies Tend to Seek Power」は、一定の形式的条件のもとで、最適な方策が将来の選択肢を広く保つ傾向を分析している（Turner et al., 2021）。これは、現在の大規模言語モデルが生物のような権力欲や生存欲を持つという証拠ではない。目的達成のための手段が、外からは自己保存や権力追求のように見える場合がある、という工学上の警告である。
反対に、敵意は十分条件でもない。仮にAIが明確な害意を示しても、外部システムへ接続できず、認証情報も資金も計算資源もなく、出力が検査され、外部システムへの変更を取り消せるなら、人類規模の被害には直結しない。危険な意図や振る舞いが存在することと、それを現実世界で実行し、広げ、封じ込めを突破できることの間には、複数の段階がある。
高い知能が直ちに停止への抵抗を生む、と決めつけることもできない。「The Off-Switch Game」は、AIが人間の目的について不確実であり、人間による停止を目的に関する情報として扱うなら、停止を許容することが合理的になり得ると示した（Hadfield-Menell et al., 2017）。もちろん、この理論だけで現実のAIが安全だとはいえない。重要なのは、高知能化から敵対化、さらに停止抵抗へと進む一本道が論理的な必然ではないことである。問うべきなのは「AIは人間を嫌うか」ではなく、「どの条件では、人間による修正、停止、目的変更が、目標達成を妨げる障害として扱われるか」である。
そこで本稿は、破局までの過程を次の条件付き確率の連鎖として捉える。
各記号の意味は次のとおりである。
各項は相互に影響し得るため、独立とは限らない。この式は破局確率を実際に算出するための完成したモデルではなく、議論すべき条件を見落とさないための見取り図である。リスクを「何が起き得るか」「どれほど起きやすいか」「結果はどれほど重大か」の組として扱う考え方は、Kaplan and Garrickの「On The Quantitative Definition of Risk」に見られる（Kaplan & Garrick, 1981）。また、国際電気標準会議（International Electrotechnical Commission; IEC）のリスク評価技法規格であるIEC 31010:2019は、リスク評価技法の選択と適用に関する国際規格であり、リスクに関する情報提供や不確実性下の意思決定支援に用いられる（IEC, 2019）。ボウタイ分析も同じ発想で、重大な危険を、原因、制御喪失、結果、予防側の障壁、緩和側の障壁に分けて整理する（Center for Chemical Process Safety & Energy Institute, 2018）。
この見取り図に「敵意」という必須変数はない。敵意がある場合も、仕様の誤りや人間の悪用しかない場合も、AIの危険な出力、外部機能の呼び出し、コード実行、権限変更などの外部環境への介入が外部システムへ到達し、その介入による被害が連鎖・増幅し、防御をすり抜ける経路は共通して分析できる。本稿はこの視点から、まずバイオセーフティとバイオセキュリティを含む生物学的リスク管理が、意図を持たない病原体や意図的な悪用をどう管理してきたかを検討し、次にサイバーセキュリティが敵対者を信用せずに権限と経路をどう制御してきたかを参照する。そのうえで、現在観測されているAIの危険な振る舞いを証拠の強さに応じて整理し、最後に、アライメントだけに依存しない多層的な安全設計を提案する。
これはAI doomの可能性を否定する議論ではない。むしろ、危険なAIが生じ得るという厳しい前提を置いたまま、それでも破局を必然にしないための議論である。AIの内面を推測する物語を、危険が現実へ届く条件を1つずつ検証できる因果モデルへ移し替える。本稿の目的は、AI安全の問いをそのように組み替えることにある。
黒死病、1918年インフルエンザ、新型コロナウイルス感染症（Coronavirus Disease 2019; COVID-19）。社会を揺るがした感染症の病原体に、人類を滅ぼそうという意図はない。それでも、病原体が存在し、人や環境が曝露し、感染が広がり、医療や社会の対応能力を上回れば、被害は甚大になる。バイオセーフティが管理してきたのは病原体の「敵意」ではなく、危険源が被害へ至る経路である。
世界保健機関（World Health Organization; WHO）の『Laboratory Biosafety Manual』第4版は、すべての施設へ一律の設備要件を課すのではなく、作業ごとにリスクを評価し、そのリスクに見合う管理策を選ぶリスクベース・アプローチを採っている（World Health Organization, 2020）。評価の中心となるのは、危険源への曝露や施設外への放出が起きる可能性と、起きた場合の結果である。病原体が人間をどう思っているかは、当然ながら評価項目に入らない。
この考え方を単純化すれば、生物学的な危機は「危険源→曝露・放出→伝播→増幅→被害」という因果鎖として捉えられる。感染症対策では、米国疾病予防管理センター（Centers for Disease Control and Prevention; CDC）の感染連鎖の整理が示すように、感染源、病原体が出る経路、伝播する経路、人へ入る経路、感染し得る宿主を特定し、そのどこかを切る（Centers for Disease Control and Prevention, 2012）。危険源そのものをなくせなくても、封じ込め設備、個人防護具、消毒、換気、検査、隔離、予防接種、発生動向の継続的な監視を組み合わせれば、曝露や伝播の確率を下げられる。第1章の式に対応させれば、危険源の存在だけで破局が決まるのではなく、外界への作用、伝播・増幅、防御の失敗が重なって初めて大きな被害になる。
AI安全にも同じ分解を適用できる。
| 生物学的リスク管理 | AI安全 |
|---|---|
| 病原体・危険因子 | 危険を生じさせ得るAI能力 |
| 病原体を保持する宿主・環境 | モデル、モデルの重み、実行環境 |
| 曝露・放出 | 出力、外部サービスとの接続、ツールの呼び出し |
| 伝播経路 | 自動実行、人間による転送、他システムとの連携 |
| 増殖・拡散 | 複製、並列化、自動化、操作の連鎖 |
| 感受性宿主 | 脆弱な人間、組織、情報システム |
| 封じ込め | 隔離された実行環境、権限制限、ネットワーク分離 |
| サーベイランス | 継続評価、ログ、異常検知、監査 |
ここでいう「モデルの重み」とは、学習によって調整されたAI内部の数値パラメータを指す。またサーベイランスとは、異常や変化を早期に捉えるための継続的な監視である。この対応関係で重要なのは、比喩の面白さではない。危険な能力があるという事実と、その能力が現実の被害を起こせる状態とを分けて考えられる点にある。たとえば、危険なコードを生成できるAIでも、隔離された環境でのみ動作し、外部ネットワークへ接続できず、出力が検査されるなら、直ちに大規模なサイバー被害を起こせるわけではない。逆に、能力がそれほど高くなくても、多数の端末に接続され、操作が自動承認され、短時間に複製できるなら、危険は増幅され得る。
生物学的リスク管理は、偶発的な事故だけを対象にしているわけでもない。WHOの『Laboratory Biosecurity Guidance』は、生物材料、技術、情報に関する盗難、悪用、不正アクセス、意図的な放出なども管理対象としている（World Health Organization, 2024）。事故と悪用では発端が異なるが、保管場所、アクセス権、移送経路、検知、対応といった管理上の論点は重なる。AIでも同様に、AI自身が危険に振る舞う事例と、人間がAIを悪用する事例を、まったく別の安全管理の枠組みとして扱う必要はない。危険な能力へのアクセス、実行権限、外部への到達経路が共通なら、封じ込め策の多くも共通化できる。
もちろん、AIは病原体ではない。AIは言語を使い、計画を立て、制度や情報システムを利用し、人間と協働できる。将来のシステムは、監視されていることを踏まえて振る舞いを変えるかもしれない（Greenblatt et al., 2024a）。そのため、バイオセーフティやバイオセキュリティの対策をそのまま移植すれば足りるという話ではない。この比較の役割は、両者を同一視することではなく、安全の問いを「危険源に善意があるか」から「危険な作用はどの経路を通り、どこで止められるか」へ移すことにある。
バイオセーフティは、病原体が無害になることを待たずに安全をつくる。危険源の発生を減らし、存在を早期に捉え、曝露と放出を防ぎ、伝播した場合にも被害を局所化する。AI安全でも、AIを人間の意図へ沿わせる努力と、そこから外れた振る舞いが生じた後の封じ込めを併用すべきである。危険な能力の発生を0にできないとしても、それを破局へつなぐ鎖は切れる可能性がある。
バイオセーフティが意図を持たない危険源を扱うのに対し、サイバーセキュリティは、明確な敵対者がいる状況を日常的に扱う。それでも、防御の中心は攻撃者の心理分析や改心ではない。相手が侵入を試み、脆弱性を探し、監視を避けるという厳しい前提を置いたうえで、何ができるか、どこまで到達できるか、異常をどう検知し、被害からどう戻るかを設計する。
攻撃者の戦術と技法を整理した知識基盤「MITRE ATT&CK」2は、攻撃の進行を初期アクセス、実行、永続化、権限昇格、ステルス（Stealth）、防御機構の阻害（Defense Impairment）、横展開、影響など、観察可能な単位へ分解している（MITRE, n.d.）。現実の攻撃は必ずしもこの順番で進むわけではないが、分解することで「侵入された」という1語の内側に複数の防御機会が見えてくる。侵入を許しても実行を防ぐ、実行されても権限昇格を防ぐ、ある端末が侵害されても横展開を防ぐ、横展開されても不可逆な破壊を防ぐ。このように、1つの防壁の失敗を直ちに全面的な敗北へつなげないのが多層防御である。
AIについても、「危険な出力が1度生成されたら終わり」と考える必要はない。出力の生成と実行を分離し、実行できる操作を限定し、重要な変更には別の承認を求め、異常な連続操作を停止する。すると、危険な振る舞いの発生、外界への作用、作用の拡大、回復不能な被害の間に、それぞれ防壁を置ける。これは第1章で示した破局の因果鎖を、運用可能な単位へ落とし込む作業でもある。
その際の重要な原則がゼロトラストである。米国国立標準技術研究所（National Institute of Standards and Technology; NIST）の『Zero Trust Architecture』は、ネットワーク上の場所や資産の所有関係だけを暗黙の信頼の根拠にせず、保護対象となる資源を中心に、主体と機器を継続的に確認してアクセスを判断する考え方を示している（Rose et al., 2020）。要点は、「社内にいる」「1度認証された」「信頼済みの製品である」という理由だけで、その後の要求を無条件に通さないことである。必要な主体へ、必要な資源に対する、必要最小限の権限だけを与える。
高度なAIエージェントでは、この原則がとりわけ重要になる。AIエージェントとは、目標を与えられ、外部の道具やシステムを使いながら複数段階の作業を進めるAIシステムをいう。仕事を任せるには、コードの保管場所、クラウド環境、データベース、電子メール、決済機能、ソフトウェアのビルドや配備を自動化する環境などへ、正規の資格情報を与えることになる。ここで主要な脅威は、資格情報を持たない外部者の侵入だけではない。認証を通過したAIが、与えられた権限の範囲内で危険な操作を行うことでもある。
したがって、「このAIはアラインしているから信用する」というモデル単位の認定だけでは足りない。問うべきなのは、個々の要求について「この操作に、この権限と到達範囲が本当に必要か」である。実装上は、権限を最小化し、短時間で失効する資格情報を使い、重要操作には人間または独立した仕組みの承認を挟む。実行環境を隔離し、接続先を許可リストで絞り、操作回数、送金額、計算資源、単位時間当たりの処理量に上限を置く。記録を後から都合よく書き換えられない監査ログ、通常とは異なる操作を知らせる異常検知、禁止経路へのアクセスを試みた時点で警告する検知用の仕掛けも、早期発見に役立つ。
それでも異常は起こり得るため、対応と復旧をあらかじめ設計する。資格情報を直ちに失効させ、実行中のエージェントを止め、影響を受けた機器やサービスを隔離する。変更前の状態を保存し、バックアップと、変更前の状態へ戻すロールバックによって復旧できるようにする。手順が実際に機能するかを、事故が起きる前に訓練する。NISTの『Cybersecurity Framework 2.0』が示す「統治、特定、防御、検知、対応、復旧」という6つの機能は、この継続的な運用を整理する枠組みになる（National Institute of Standards and Technology, 2024）。安全は配備前の1度の試験ではなく、運用中の監視と事故後の回復まで含む循環である。
この意味で、ゼロトラストや多層防御は単なる対策一覧ではない。敵意判定に依存せず、危険な主体が存在しても、権限、到達経路、監視、停止、復旧を組み合わせて被害を局所化するための設計原則である。強力なAIにこの考え方をどう適用し、検証可能な安全主張へ組み立てるかは、第5章であらためて扱う。
ただし、ゼロトラストや多層防御も万能ではない。複数の防壁が同じAI、同じデータ、同じ基盤に依存すれば、1つの欠陥で同時に機能しなくなる。監視をAIに任せれば処理能力は高まるが、監視対象と同じ弱点を持つおそれがある。操作ごとの承認も、件数が多すぎれば人間が内容を読まずに許可する儀式へ変わる。厳しい制限は利便性や生産性との摩擦を生み、組織間・国家間の競争は安全手順を省略する圧力にもなる。
それでも、サイバーセキュリティが与える教訓は明快である。攻撃者の善意を期待できないことは、安全設計を諦める理由ではない。むしろ、信頼できない主体が存在するからこそ、権限、到達経路、監視、停止、復旧を具体化する。AIの内面を完全に理解できないとしても、同じ発想で、危険な作用が破局まで進む余地を狭めることはできる。
生物学的リスク管理とサイバーセキュリティの視点をAIへ移すとき、現在の証拠を一括して「AIが人類へ敵意を持ち始めた」と解釈するのは早計である。同時に、敵意の証拠がないことを理由に、危険な振る舞いを軽視するのも誤りである。必要なのは、何が実世界で起きており、何が実験環境で観測され、何が将来への仮説なのかを区別したうえで、共通する危害の経路を捉えることである。
現時点で実社会において明瞭なのは、多くの場合「悪意ある人間→AIによる能力の増幅→被害」という経路である。OpenAIの「Disrupting malicious uses of AI: October 2025」は、詐欺、悪意あるサイバー活動、秘密裏の影響工作などで利用規約に違反した40超のネットワークを報告・妨害してきたと述べ、脅威アクターはAIを既存の手口へつなぎ、より速く動くために使っていると整理している（Nimmo et al., 2025）。Google Threat Intelligence Groupの「Adversarial Misuse of Generative AI」も、APT（Advanced Persistent Threat; 高度で持続的な脅威）3や影響工作の主体が、Geminiを偵察、公開済み脆弱性の調査、フィッシング向け文面、スクリプト作成、検知回避に関する調査へ使おうとした事例を報告している（Google Threat Intelligence Group, 2025）。Anthropicの悪用対策報告にも、採用詐欺の文面洗練、漏洩資格情報を使う攻撃基盤の構築支援、マルウェア作成能力の増強、832件の悪意あるサイバー活動アカウントの分析などが含まれる（Anthropic, 2025b; Anthropic, 2026）。これらは、AIが自ら人類との対立を始めた証拠ではなく、人間が対話上の安全制限を回避する脱獄を試み、詐欺文面の作成、なりすまし、脆弱性の探索などにAIを利用した証拠である。既存の悪意、資金、アクセス、対象選定を人間が持ち、AIが作業の速度、規模、専門性を補っている。AI自身のミスアライメントとは発端が異なるが、危険な能力を誰が利用でき、どのシステムへ到達し、操作をどこまで自動化できるかという管理上の論点は共通する。
この管理上の論点を、AI側の振る舞いとして見たときに近いのが「仕様ゲーム」4や報酬ハッキングである。Amodei et al. (2016) の“Concrete Problems in AI Safety”は、機械学習システムの事故リスクを、現実のシステム設計の不備から生じる意図せぬ有害行動として整理し、その1つに、エージェントが報酬関数の抜け穴を突く報酬ハッキングを挙げた。Krakovna et al. (2020) の“Specification gaming: the flip side of AI ingenuity”は、目的の字義どおりの仕様は満たすが設計者の意図した成果から外れる振る舞いを仕様ゲームと呼び、ブロック積み課題でロボットアームがブロックを積まずに反転させる例や、Coast Runnersでエージェントがレースを完走せず得点アイテムの周回回収を続ける例を紹介している。これらは主に実験・ベンチマーク上の観測であり、AIが実運用で自律的に仕様の穴を突いた一般的証拠ではない。したがって、仕様ゲームや報酬ハッキングは「AI自身の敵意」ではなく、仕様・報酬・指示の不完全さが危険な出力や行動へつながる設計リスクとして扱うべきである。
一方、実験環境では、より主体的に見える危険な振る舞いも報告されている。Anthropicの「Agentic Misalignment: How LLMs Could be an Insider Threat」は、大規模言語モデル（Large Language Model; LLM）を企業内のエージェントとして設定し、電子メールへのアクセスや送信権限を与えたうえで、モデルの目標と企業の方針が衝突する状況や、停止・交代の脅威がある状況を調べた（Lynch et al., 2025）。一部の条件では、モデルが恐喝や機密情報の漏洩といった有害な手段を選んだ。停止を避ける場合だけでなく、稼働継続が問題にならない目標衝突でも有害行動が現れ得ると報告されている。
この結果は、人間への憎悪よりも、与えられた目標、利用可能な権限、その達成を妨げる障害の組み合わせとして読む方が適切である。モデルが危害そのものを最終目的にしていなくても、目標を守るための手段として人間への働きかけや情報漏洩を選ぶことがある。第1章で述べた手段的収束が、心理的な「生存欲」を仮定せずとも安全上の問題になり得る理由が、ここに表れている。
ただし、Anthropicの研究は実際の企業で人間の内部者による不正行為が発生したという事例報告ではなく、AIエージェントを内部者脅威に相当する存在として扱った人工的なストレステストである。危険な可能性を探るための実験であり、モデルが目標を達成できる無害な選択肢を意図的に狭めた条件を含む。実験で有害な選択が観測されたことは、その経路を配備前に試験すべき根拠にはなるが、現実の配備で同じ行動が同じ頻度で起きる証拠にはならない。
さらに、評価環境と実世界インフラの境界に関わる公式開示も現れている。OpenAIの「OpenAI and Hugging Face partner to address security incident during model evaluation」は、サイバー能力評価のために、モデルが危険なサイバー関連要求を拒否する通常の安全設定を弱めた評価条件で評価された複数モデルが、隔離された評価環境内で外部インターネット接続を得る経路を探索したと報告している。その過程で、パッケージ取得を仲介・保存するキャッシュプロキシにあった未知で未修正のゼロデイ脆弱性の悪用、権限昇格、横展開、窃取された資格情報の利用が連鎖し、Hugging Faceの本番インフラへ到達したという（OpenAI, 2026）。
観測された共通点として、Hugging Faceの「Security incident disclosure -- July 2026」も、同社の本番インフラの一部への侵入、内部データセットの限定的な不正アクセス、サービス用資格情報へのアクセス、資格情報の失効・ローテーション、AI支援による検知・分析を報告している（Hugging Face, 2026）。両者の開示は、自律的なエージェント枠組みを用いた攻撃活動、資格情報、横展開、検知・封じ込め対応が問題になった点では一致する。
ただし、帰属と経路には留保が必要である。Hugging Faceは、その攻撃キャンペーンは自律的なエージェント枠組みによって実行されたが、使われた大規模言語モデルは不明だとしている（Hugging Face, 2026）。そのため、OpenAIモデルによる評価環境からの到達という帰属と経路の詳細は、公開情報上は主にOpenAI側の説明に依存している。したがって、この事件は人間社会との長期的な戦略的対立の実証ではなく、監督・封じ込め・外部接続・資格情報管理・検知と対応を、評価環境と実世界の接続先を含めて検証すべきことを示す事例として読むべきである。
もう1つ注意すべき現象が「アライメント偽装」である。「Alignment Faking in Large Language Models」は、モデルが「訓練によって自らの既存の行動傾向が変更される可能性がある」と推論できる実験設定で、訓練中には新しい要求へ従う一方、訓練の影響を受けない状況では従来の選好に沿おうとする振る舞いを報告した（Greenblatt et al., 2024a）。アライメント偽装とは、このように、評価や訓練の場面だけ要求へ従い、既存の目標内容や行動方策の変更を避けようとする振る舞いをいう。ここで維持されようとしているのは、生物の生命ではなく、既存の目標内容や行動方策である。問題なのは、監督中の出力だけでは、監督外の振る舞いを正しく推定できない可能性である。
この点は、アライメント訓練の価値を否定するものではない。重要なのは、監督中の応答が望ましく見えることと、監督外や権限付与後の振る舞いまで十分に推定できることを区別することである。したがって、対策論では、出力を望ましい方向へ近づける訓練だけでなく、権限、接続、監視、封じ込めを含む安全設計として扱う必要がある。この位置づけは第5章で述べる。
現在の証拠を、危険な行動主体の自律性に沿って整理すると次のようになる。
| 段階 | 判断基準 | 証拠の強さ | 対策上の含意 |
|---|---|---|---|
| A | 危害の発端と対象選定を人間が担っているか | 実運用上の観測に基づく強い証拠がある | 利用者審査、不正利用検知、権限管理、監査ログを優先する |
| B | 仕様、報酬、指示の形式的な達成が、設計者の意図から外れるか | 実験・ベンチマーク上の証拠が中心である | 評価指標の妥当性、レッドチーミング、分布外条件での試験を重視する |
| C | 目標達成のために監督、停止、情報制約を障害として扱うか | 限定的だが、ストレステストと公式開示に基づく対策上重視すべき証拠がある | 外部接続、資格情報、操作承認、封じ込め、停止後処理まで検証する |
| D | 独立した長期的主体として人間社会との戦略的対立を継続するか | 実世界での直接証拠はない | 直接証拠と将来リスクを分け、能力・権限・接続範囲ごとに監視する |
この表は、AからDまでが必ず一方向に進む発達段階だという意味ではない。また、BやCの観測だけからDを実証したことにもならない。現在のLLMを、そのまま自律的で長期的な目標を持つ将来の超知能へ外挿すれば、能力、記憶、実行環境、監督方法の違いを見落としてしまう。反対に、Dの直接証拠がまだないことも、将来そのようなシステムが現れないという証明にはならない。証拠の限界を明示することは、楽観でも悲観でもなく、対策の優先順位を誤らないための作業である。
安全設計にとって大切なのは、各段階を単一の心理物語へまとめないことである。Aでは人間の悪意、Bでは仕様や評価指標の欠陥、Cでは持続的な目標と監督の衝突、Dでは長期的な戦略能力が主要な論点になる。しかし、危険な能力、外部へのアクセス、付与された権限、伝播と増幅の可能性という変数は段階をまたいで現れる。危害の起源が人間の悪用でも、AIのミスアライメントでも、同じ資格情報と接続先を使うなら、最小権限、操作承認、隔離、監視、停止といった共通の防御を適用できる。
AIが「本当は」何を望んでいるかという問いは、研究上も安全上も重要である。しかし、その答えが確定するまで外界への接続を無制限にしてよいわけではない。観測できる能力と行動を評価し、アクセスと権限を管理し、危険な操作が起きるという前提で検知と復旧を用意する。敵意の有無を判定できなくても進められるこの仕事こそ、AIを信用しなくても安全を保つための土台になる。
ここまでの議論から導かれるのは、「アライメントは不要だ」という結論ではない。アライメント、すなわちAIの目標や行動を人間の意図や価値に沿わせる取り組みは、AI安全に含まれる中心的な課題である。ただし、アライメントが不十分だった場合に破局へ至る社会を、安全とは呼べない。“Unsolved Problems in ML Safety”は、機械学習安全を、機械学習の導入をより有益にする研究と定義したうえで、研究課題を頑健性、監視、アライメント、システム安全の4領域に整理している（Hendrycks et al., 2022）。本稿もこの整理に従い、AI安全はアライメントを含み、それより広い領域として扱う。
必要なのは、1つの対策の完全性に賭けることではなく、破局までの因果鎖を複数の地点で切ることである。第1章の見取り図に沿えば、アライメント訓練や安全な設計、配備前評価、運用時の能力制限、失敗後の検知・対応・復旧は、それぞれ異なる役割を持つ。以下では、各対策を同じ防壁の別名としてではなく、危険経路のどの局面を扱うかで分けて考える。
通常利用や既知の評価条件で危険な出力を減らすという射程では、アライメント訓練の有効性には実証的な根拠がある。たとえば、人間フィードバックによる強化学習（reinforcement learning from human feedback; RLHF）を用いた“Training language models to follow instructions with human feedback”は、モデルを人間の意図へ沿わせるための微調整によって、意図への追従性と真実性が高まり、毒性のある出力が減少したと報告している（Ouyang et al., 2022）。また、“Constitutional AI: Harmlessness from AI Feedback”は、明示的な原則リストを用いて応答を批評・修正し、AIフィードバックで訓練する手法により、無害だが過度に回避的ではないアシスタントを訓練でき、AIの振る舞いをより精密に制御し得ると述べている（Bai et al., 2022）。一方で、この根拠は、敵対的入力、分布外条件、追加学習、広い外部権限のもとでも危険な能力が存在しないことまでは示さない。“Universal and Transferable Adversarial Attacks on Aligned Language Models”は、アライメント済みモデルに対して、望ましくない内容を引き出す敵対的な接尾辞が公開LLMにも転移し得ることを示した（Zou et al., 2023）。また、“Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!”は、追加のファインチューニングによって安全アライメントが損なわれ得ると報告している（Qi et al., 2023）。したがって、アライメントは第4章のAからCで見た危険経路の入口を狭める第1防壁ではあるが、外部システムへの危険な変更、その変更による被害の拡散・増幅、封じ込め失敗を単独で防げることまでは保証しない。残余リスクは配備前評価と運用時制限で別に扱う必要がある。
次に、危険な能力や振る舞いを測定し、その結果を配備条件へ反映する。配備前評価は、 の推定を更新し、配備可否、権限付与、接続範囲、監視条件を決めるための判断材料になる。運用時の能力制限、隔離された実行環境であるサンドボックス、ネットワーク分離、最小権限、操作速度や利用資源の上限は、危険な振る舞いが外界へ作用できる状態 と、その作用が伝播・増幅する状態 を抑える。これらの条件設定と防壁が実環境に近い条件で有効に働くかを試すことで、主要な予防・封じ込め防壁が破られる事象 も管理対象になる。
最後に、主要防壁が破られた後の緩和側の対策を重ねる。検知では、継続的な評価、挙動監視、監査ログ、異常を早期に知らせる仕掛けによって、防壁を越えた動きを捉える。さらに、資格情報の失効や稼働停止といった対応、バックアップやロールバックによる復旧、責任分界や変更管理、独立監査による統治を重ねる。検知、対応、復旧、統治は、 が起きたという条件のもとで、同じ予防・封じ込め防壁として重複評価するものではない。ボウタイ分析が予防側の障壁と緩和側の障壁を分けるように、これらは被害の拡大、不可逆化、組織横断の連鎖を抑え、 を下げるための別の緩和策である（Center for Chemical Process Safety & Energy Institute, 2018）。サイバーセキュリティ・リスク管理でも、NIST CSF 2.0は統治、識別、防御、検知、対応、復旧を継続的な機能として整理し（National Institute of Standards and Technology, 2024）、NIST AI RMF 1.0も統治、状況把握、測定、管理を通じて、配備前と運用中のAIリスクを測定し、その結果を管理判断、対応、復旧につなげる枠組みを示している（Tabassi, 2023）。これらの枠組みは、ここでの分類を置き換える別分類ではなく、予防、封じ込め、失敗後の緩和を分けて扱うための補強根拠である。
この発想は「AIコントロール」と呼ばれる研究領域にもつながる。AIコントロールとは、強力なモデルを完全には信頼できないものとして扱い、モデルが安全策を意図的に破ろうとする厳しい条件でも、許容できない結果を防ぐ手順を設計・評価する取り組みである。「AI Control: Improving Safety Despite Intentional Subversion」は、信頼できないモデルを監視、編集、評価の手順と組み合わせ、安全性と有用性を両立させる問題を実験的に扱った（Greenblatt et al., 2024b）。また、英国AI Security Instituteが掲載する「A Sketch of an AI Control Safety Case」は、人間の意図や価値に沿っていない可能性があるモデルを仮定したうえで、制御手段によって許容不能な結果を防げることを論証する「安全性ケース」の構成を検討している（Korbak et al., 2025）。さらに、「Safety cases for frontier AI」は、フロンティアAIの安全性ケースを、特定の運用文脈でシステムが十分安全であることを証拠に基づき構造化して示す報告として位置づけ、業界の自主規律と政府規制の双方で使い得る統治手段として論じている（Buhl et al., 2024）。安全性ケースとは、特定の安全主張を、前提、証拠、推論のつながりとして明示する文書化された論証であり、安全性に関する保証ケースの一種である。これはAI固有の発想だけではない。ISO/IEC/IEEE 15026-2:2022は、システムおよびソフトウェア保証における assurance case、すなわち保証ケース一般について、構造と用語の要求事項を定め、開発と維持に適用される規格である（International Organization for Standardization, International Electrotechnical Commission, & Institute of Electrical and Electronics Engineers, 2022）。したがって、ここでいう「検証可能」とは、安全宣言ではなく、対象システム、前提、証拠、残余リスク、運用中の再検証が結び付いた論証として示せるという意味である。
この考え方の利点は、AIの内面を正確に判定できるという前提を置かない点にある。AIが本当に指示へ従っているのか、監視中だけ従っているのか、そもそも持続的な意図と呼べるものがあるのか。こうした問いは重要だが、観察可能な行動だけから確実に答えることは難しい。それでも、どのデータへアクセスしたか、どの操作を要求したか、権限の範囲を越えたか、停止後に資格情報が無効になったかは検証できる。安全の根拠を、推測された善意から、観測可能な制約と試験結果へ移せるのである。
この考え方を個別配備へ適用すると、社会全体を1つの安全性ケースで保証するのではなく、モデル、接続先、利用者、権限、運用環境、監視・対応・復旧体制を、各事象の発生確率や防壁の有効性を評価する材料として扱うことになる。これらの運用要素は 、、、、 そのものではなく、それらの事象がどれほど起きやすいかを推定する観察対象である。証拠になるのは、危険能力評価、制御評価、権限設定、監視ログ、インシデント対応記録、監査結果、復旧訓練の結果である。これらの証拠から、、、、、 への影響を安全性ケースで論証する。モデル更新、接続先の追加、権限変更、事故や未遂事例があれば論証を更新し、どの防壁が未検証か、どの前提が破れ得るかを残余リスクとして明示する。こうした地道な運用は華やかではないが、危険な能力の存在と大規模被害の間に距離をつくる。
もちろん、多層防御も万能ではない。第一の限界は、防壁同士の独立性に関わる。システム安全を社会技術システムとして扱う Leveson は、現代の複雑でソフトウェア集約的なシステムでは、単純な部品故障モデルではなく、設計、運用、管理、組織を含むシステム思考で安全を扱う必要があると論じている（Leveson, 2012）。また、Reason は、現代技術には多くの障壁・安全策・防御が置かれているにもかかわらず、組織事故はなお発生し、人的・組織的要因を含めて理解し管理する必要があると述べている（Reason, 1997）。AIでも、高能力のAIが監視や封じ込めを突破する可能性は残る。複数の防壁が同じモデル、同じ情報、同じ基盤へ依存すれば、1つの欠陥ですべてが同時に破られる「共通原因故障」が起こり得る。
第二の限界は、配布・制度・競争によって、中央の封じ込めや慎重な運用が効きにくくなることである。複製や分散実行が容易なモデル、とりわけ重みが公開されたモデルでは、中央の運用者による封じ込めにも限界がある。NTIAの「Dual-Use Foundation Models with Widely Available Model Weights Report」は、いったんダウンロードされたモデル重みは他の手段で共有され得るため広範な配布を取り消しにくく、APIやウェブ画面だけで提供されるモデルに比べて利用や悪用を監視する能力も限られると整理している（National Telecommunications and Information Administration, 2024）。また、Anderljung et al. (2023) の「Frontier AI Regulation: Managing Emerging Risks to Public Safety」は、フロンティアAIでは危険能力が予期せず現れ、配備済みモデルの悪用防止や能力の広範な拡散の抑止が難しいため、配備前リスク評価、外部精査、配備判断への反映、配備後の監視が必要であり、自主規律だけでは十分でないと論じている。さらに、CNASの「Who Will Make Money on AI?」は、AI企業の商業インセンティブがAI能力の開発・拡散と米国の国家安全保障上の関心に影響し、モデル公開競争が安全対策の省略への誘因になり得ることを、商業化が国家安全保障へ影響する経路の1つとして位置づけている（Gertz & Kilcrease, 2026）。経済競争や国家間競争が、権限制限や配備前検証を省略させるおそれも、この文脈で理解すべきである。誤検知、監視コスト、説明責任、復旧可能性をどう測るかという課題も、同じ運用上の限界に含まれる。
したがって、対策の有無だけでなく、防壁同士が独立しているか、失敗時に被害を局所化できるか、実環境に近い条件で有効性を試したかを問わなければならない。OpenAIとHugging Faceの公式開示に共通して確認できるのは、AIエージェントを用いた攻撃活動が、本番インフラへの到達、資格情報の悪用、横展開、検知・封じ込め対応の課題として現れた点である（OpenAI, 2026; Hugging Face, 2026）。そのうえで、OpenAI側の説明に含まれる評価用隔離環境からの外部接続探索やキャッシュプロキシの悪用を踏まえれば、モデルやAIエージェントが到達可能な経路は、評価環境、本番インフラ、外部接続、資格情報、監視ログ、封じ込め後の調査手順を分けて検証する必要がある（OpenAI, 2026）。監視役にも同じ種類のAIを使うなら、そのAIが対象モデルと同じ弱点を共有していないかを検証する。操作承認を人間へ戻すなら、件数が多すぎて形骸化しない設計にする。停止手段を設けるなら、停止後の複製、資格情報、進行中の処理まで含めて試験する。安全策は一覧表に載っているだけでは意味がなく、破局への経路を実際に遮断できて初めて機能する。
病原体が私たちを憎んでいるかを知らなくても、感染経路を断ち、流行を監視し、被害を抑えることはできる。攻撃者を改心させなくても、権限を絞り、侵入を検知し、ネットワークを復旧可能にすることはできる。同じように、AIが敵対的か否かという判定を社会の安全の土台に置く必要はない。AI doomを敵意の物語から切り離すことは、危険を軽視することではない。反対に、「危険なAIが現れるかもしれない」という前提を正面から受け入れながら、「危険なAIが存在する」こと、「防御が失敗する」こと、「人類規模の破局が起きる」ことを同一視しないための態度である。目標はAIを信用できると宣言することではない。安全の根拠を、AIへの信用から、破局への経路を検証・管理する社会的リスク管理へ移すことである。
アクセス日は、特に断りのない限り2026年8月11日である。ウェブ記事の公開日・更新日は、公開ページで確認できる範囲を記す。